如何识别百度蜘蛛?只需两步,正确识别百度蜘蛛

张俊SEM SEO知识 SEO技术433字数 1388阅读4分37秒阅读模式

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛文章源自张俊SEM-https://zhangjunsem.com/2301.html

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:文章源自张俊SEM-https://zhangjunsem.com/2301.html

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
文章源自张俊SEM-https://zhangjunsem.com/2301.html

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html文章源自张俊SEM-https://zhangjunsem.com/2301.html

新增渲染UA:文章源自张俊SEM-https://zhangjunsem.com/2301.html

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)文章源自张俊SEM-https://zhangjunsem.com/2301.html

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)文章源自张俊SEM-https://zhangjunsem.com/2301.html

2、反查IP文章源自张俊SEM-https://zhangjunsem.com/2301.html

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:文章源自张俊SEM-https://zhangjunsem.com/2301.html

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider抓取Baiduspiderhostname *.baidu.com  *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。文章源自张俊SEM-https://zhangjunsem.com/2301.html

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip 判断是否来自Baiduspider抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname*.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname *.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

声明:转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请及时联系管理员删除。

weinxin
ynxtwl
加个微信
交个朋友
张俊SEM
  • 本文由 张俊SEM 发表于 2018年5月24日13:52:47
  • 转载请务必保留本文链接:https://zhangjunsem.com/2301.html
  • 百度蜘蛛
  • ip
  • 服务器
  • 抓取
骨灰级极简主义代码优化
骨灰级极简主义代码优化 seo优化

骨灰级极简主义代码优化

你的网站打开加载速度慢,代码冗余,兼容性差?这些都是站内基础优化(代码优化、CSS优化、JS优化、图片优化)没做好造成的。为自己做个代言,重庆秀站网SEO是纯手写代码骨灰级极简主义者,只要服务器不是垃...
加盟培训网站搜索引擎排名策划案
加盟培训网站搜索引擎排名策划案 seo优化

加盟培训网站搜索引擎排名策划案

最近秀站网一个月内做了四个餐饮行业的网站,接到这个任务时,分析了这家公司的经营情况,运营的产品较为分散,如果用一个网站去做的话,就非常麻烦,里面的内容彼此无太大关联,这对“小而美”的优化原则相背离。秀...