Skip to content

错误的robots文件设置对SEO的影响

对于一个新站来说,搜索引擎爬虫来抓你的网站,他们就跟大爷一样,要好吃好喝的供着,你不能让别人自己端茶倒水,把别人累个半死,你说这样他回去会跟他主子(搜索引擎)说什么好话么? 那怎么让他们吃好喝好呢?其实也简单,就是让他们少做点,我们多做点,对于一个网站,那就是把目录结构尽量扁平话,但是要掌握好一个度,凡事过了就物极必反,蜘蛛来你网站,你肯定要想办法第一时间把…

robots.txt文件介绍

各位站长天天都要跟各大搜索引擎的小兵(爬虫)打交道,对robots.txt文件肯定不会陌生,但是对于SEO小白可能都没有听过这个文件,其实这个文件内容很简单,就是和搜索引擎爬虫约好的一些规则,当爬虫来访问网站的时候,第一时间会看看网站根目录有没有robots.txt这个文件,如果有这个文件,会根据这个文件设置的规则来抓取网站的内容。 robots.txt的作…