错误的robots文件设置对SEO的影响
对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？ 那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把…
robots.txt文件介绍
各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来访问网站的时候，第一时间会看看网站根目录有没有robots.txt这个文件，如果有这个文件，会根据这个文件设置的规则来抓取网站的内容。 robots.txt的作…