AhrefsBot是什么蜘蛛？怎么屏蔽禁止它抓取网页

如果你经常关注自己网站每天都有哪些蜘蛛来爬的话，可能会发现，除了我们常见的（Baiduspider）、蜘蛛（bot）、360蜘蛛（360spider）等外，还有一些一眼看上去也不知道是什么的蜘蛛程序，比如今天我们要介绍的这个：AhrefsBot。

AhrefsBot是什么蜘蛛？

AhrefsBot是国外网站（Ahrefs.com）的一个蜘蛛程序，那么Ahrefs是什么网站呢，这个是国外一个网络营销类的网站，有点类似于国内的5118、站长网之类，在界是很有名的。AhrefsBot数据库里面有超过12万亿条链接，每天它就在不断的执行和监控Ahrefs的在线营销活动，每24小时就要访问超过60亿个网页，每15-30分钟就要更新一次索引。文章源自张俊SEM-https://zhangjunsem.com/24129.html

根据一项调查显示，AhrefsBot是仅次于谷歌蜘蛛（Googlebot）的世界第二大活跃蜘蛛爬虫程序。文章源自张俊SEM-https://zhangjunsem.com/24129.html

文章源自张俊SEM-https://zhangjunsem.com/24129.html

AhrefsBot对网站有什么影响？

AhrefsBot除了会轻微的增加你服务器的负担外，并不会对你的网站造成什么影响，它既不会触发网站上的广告，也不会在统计中增加流量。文章源自张俊SEM-https://zhangjunsem.com/24129.html

对于国内的中文网站来说，AhrefsBot蜘蛛是没有什么作用的，不管是好的作用还是副作用。所以我们建议是将其屏蔽掉。文章源自张俊SEM-https://zhangjunsem.com/24129.html

如何屏蔽AhrefsBot？

要想禁止AhrefsBot抓取你的网站，方法其实是很简单，因为AhrefsBot是遵循协议的，所以你只需要在.txt中将其禁止就行，具体代码如下：文章源自张俊SEM-https://zhangjunsem.com/24129.html

user-agent: AhrefsBot
disallow: /文章源自张俊SEM-https://zhangjunsem.com/24129.html

总的来说，很多陌生的蜘蛛程序都是国外的一些营销网站开发的，通过这些蜘蛛在世界各地的网站上抓取网站，提供SEO服务。文章源自张俊SEM-https://zhangjunsem.com/24129.html