前几天的时候介绍了如何屏蔽蜘蛛，那个是国外网络营销网站的抓取蜘蛛，其实这样的蜘蛛很多的，大家查询网站日志就可以看到了，今天我们就来看看另外一家网络公司的蜘蛛——MJ12bot。
MJ12bot是什么蜘蛛？
MJ12bot是一个来自英国网络营销公司的蜘蛛，这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。目前，这家公司提供了13种语言的网站服务。文章源自张俊SEM-https://zhangjunsem.com/24131.html
文章源自张俊SEM-https://zhangjunsem.com/24131.html
用户可以在Majestic上了解到自己网站的一些数据。文章源自张俊SEM-https://zhangjunsem.com/24131.html
总的来说，如果你的网站业务主要是在国内的话，那么MJ12bot蜘蛛对于你来说就没有多大的作用。文章源自张俊SEM-https://zhangjunsem.com/24131.html
MJ12bot蜘蛛对网站有什么影响？
这个蜘蛛程序同样会轻微的增加服务器的负担，有的时候如果它的抓取量比较大的话，影响也会比较明显，但是一般情况下不会有太大的影响。如果你不想在日志中看到它，可以将它在中屏蔽掉，这个蜘蛛是遵循规则的。文章源自张俊SEM-https://zhangjunsem.com/24131.html
如何屏蔽MJ12bot蜘蛛？
因为MJ12bot蜘蛛会遵循robots协议，所以我们可以直接在robots.txt中将它屏蔽掉，具体代码如下：文章源自张俊SEM-https://zhangjunsem.com/24131.html
文章源自张俊SEM-https://zhangjunsem.com/24131.html文章源自张俊SEM-https://zhangjunsem.com/24131.htmlUser-agent: MJ12bot
Disallow: /文章源自张俊SEM-https://zhangjunsem.com/24131.html
声明：转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。本站部分图文来源于网络，仅供学习交流，发表作品观点仅代表作者本人，本站仅提供信息存储空间服务，不承担连带责任。如有侵权，请及时联系管理员删除。
评论