疯狂的谷歌Googlebot爬虫
前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能,来看一看各大搜索引擎爬虫抓取情况,基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件,偶尔抓下其它界面,这对比真的是天差地别啊,虽然我知道SEO禅还在百度的观察期,这种情况最好不要进行什么骚操作,只要发一些高质量的外链和进行一些网站内部优化就可以,保持自己的节奏就行。 前几天我对SEO禅做了…
前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能,来看一看各大搜索引擎爬虫抓取情况,基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件,偶尔抓下其它界面,这对比真的是天差地别啊,虽然我知道SEO禅还在百度的观察期,这种情况最好不要进行什么骚操作,只要发一些高质量的外链和进行一些网站内部优化就可以,保持自己的节奏就行。 前几天我对SEO禅做了…
前两天搜索引擎爬虫疯狂来抓取网站,从1天几次飙升到快100多次,然后又降到正常值,就SEO禅这个新站点来说,如果突然增加这么高的频次,我也不好说是好事还是坏事,但是直觉来说应该是好事,所以这几天我把内链作了些优化,这样搜索引擎爬虫下次再来的时候就会看到网站有了些变化,有些文章应该会重新爬取,这样爬取的频次应该会增加一点。 我增加了文章的上下链接和相关文章列表…