搜索引擎爬虫

robots.txt文件介绍

各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对 robots.txt 文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来访问网站的时候，第...