大家做seo都是在千方百计的让搜索引擎抓取和收录，但是其实很多情况下我们还需要禁止搜索引擎抓取和收录
比如，公司内部测试的网站，或者内部网，或者后台登录的页面，肯定不希望被外面的人搜索到，所以要禁止搜索引擎抓取。文章源自张俊SEM-https://zhangjunsem.com/27386.html
禁止搜索引擎抓取方法：
创建robots.txt文件到WEB根目录下，其内容为：文章源自张俊SEM-https://zhangjunsem.com/27386.html
| User-agent: Baiduspider文章源自张俊SEM-https://zhangjunsem.com/27386.html
Disallow: /文章源自张俊SEM-https://zhangjunsem.com/27386.html User-agent: Sosospider文章源自张俊SEM-https://zhangjunsem.com/27386.html Disallow: /文章源自张俊SEM-https://zhangjunsem.com/27386.html User-agent: sogou文章源自张俊SEM-https://zhangjunsem.com/27386.html spider Disallow: /文章源自张俊SEM-https://zhangjunsem.com/27386.html User-agent: YodaoBot文章源自张俊SEM-https://zhangjunsem.com/27386.html Disallow: /文章源自张俊SEM-https://zhangjunsem.com/27386.html User-agent: Googlebot Disallow: / User-agent: Bingbot Disallow: / User-agent: Slurp Disallow: / User-agent: Teoma Disallow: / User-agent: ia_archiver Disallow: / User-agent: twiceler Disallow: / User-agent: MSNBot Disallow: / User-agent: Scrubby Disallow: / User-agent: Robozilla Disallow: / User-agent: googlebot-image Disallow: / User-agent: googlebot-mobile Disallow: / User-agent: yahoo-mmcrawler Disallow: / User-agent: yahoo-blogs/v3.9 Disallow: / User-agent: psbot Disallow: / |
给大家发一张禁止搜索引擎抓取网站的搜索结果截图：
百度官方对robots.txt的解释是这样的：
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
如您的网站未设置robots协议，百度搜索对网站视频URL的收录将包含视频播放页URL，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面URL。
声明：转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。本站部分图文来源于网络，仅供学习交流，发表作品观点仅代表作者本人，本站仅提供信息存储空间服务，不承担连带责任。如有侵权，请及时联系管理员删除。
评论