admin正常情况下，我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容，但是如果你的服务器有资源限制，那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽，或者网站打开缓慢的情况发生。
在这种情况下，我们就可以考虑适当的降低搜索引擎的抓取速度，以保证网站可以正常打开访问，不会被蜘蛛爬挂。
Google 采用先进的算法来确定最佳的网站抓取速度，Google搜索蜘蛛每次访问您的网站时，在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。
如果 Google 每秒向网站发出的请求过多，导致服务器的速度下降，您可以限制 Google 抓取您网站的速度。
您可以限制对根级网站（例如 www.example.com 和 http://subdomain.example.com）的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意，Googlebot 并不一定会达到这一上限。
除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的，否则我们建议您不要限制抓取速度。
您无法更改对非根级网站（例如 www.example.com/folder）的抓取速度。
具体限制方法：
打开资源的 。
除了单独设置外，还可以使用 的Crawl-delay指令来设置搜索引擎抓取频率。
大多数的搜索引擎都支持
Crawl-delay
参数，设置为多少秒，以等待同服务器之间连续请求：
你只需要把上面的代码添加到你网站的robots.txt文件里面，等待搜索引擎的蜘蛛抓取并识别就可以了。
对于蜘蛛把网站抓挂的情况虽然很少碰见，不过确实有这种情况发生，对于普通的外贸企业网站，本身都没有多少内容的，蜘蛛也没有必要24小时频繁的抓取资源，毕竟网站速度如果被拖慢了，又影响SEO效果，也影响用户体验。
所以当你发现你网站疯狂被蜘蛛抓取的时候，就可以考虑这样操作了。
相关文章：
版权声明
本文仅代表作者观点，不代表xx立场。
本文系作者授权xx发表，未经许可，不得转载。
评论列表
发表评论