结合上一篇文章里说过的，你要写robots.txt文件，那么你首先要去了解它，了解它内部结构，什么是robots.txt文件，作为一个SEOer才能写好robots.txt。那么接下来大家要了解是，里面那些内容起到什么作用，每一个控制代码对应的内容不一样，那么起到作用也不一样。想要让你的robots机器人如何听你的话，还要看你如何知己知彼了。
如何写robots
那么首先来了解一下robots内部控制。文章源自张俊SEM-https://zhangjunsem.com/76.html
1.允许所有搜索引擎访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意：可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。 文章源自张俊SEM-https://zhangjunsem.com/76.html
2.禁止所有搜索引擎访问
User-agent: *
Disallow: /
或者
User-agent: *
allow:文章源自张俊SEM-https://zhangjunsem.com/76.html
3.禁止所有搜索引擎访问网站中目录部分
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/文章源自张俊SEM-https://zhangjunsem.com/76.html
允许，则是如下
Allow: /a/
Allow: /b/
Allow: /c/文章源自张俊SEM-https://zhangjunsem.com/76.html
4.禁止某个搜索引擎的访问文章源自张俊SEM-https://zhangjunsem.com/76.html
User-agent: w
Disallow: /
否则
User-agent: w
Disallow: /d/*.htm
注意：在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL，包含子目录。文章源自张俊SEM-https://zhangjunsem.com/76.html
5.只允许某个搜索引擎的访问文章源自张俊SEM-https://zhangjunsem.com/76.html
User-agent: e
Disallow:
注意：在Disallow：后面不加任何东西，意思是仅允许e搜索引擎访问该网站。文章源自张俊SEM-https://zhangjunsem.com/76.html
6.使用”$”限制访问url文章源自张俊SEM-https://zhangjunsem.com/76.html
User-agent: *
Allow: .htm$
Disallow: /
注意：意思是仅允许访问以”.htm”为后缀的URL
7.禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
8.禁止搜索引擎F抓取网站上所有图片
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
注意：意思是只允许引擎抓取网页，禁止抓取任何图片（严格来说是禁止抓取jpg、jpeg、gif、png、bmp格式的图片)
9.只允许搜索引擎E抓取网页和.gif格式图片
User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
注意：意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片
不过，现在很多技术解决的去硬写这些文件，因为有了很多可以走动生成robots.txt文件的软件。那么我给大家介绍一下这几款可以自动生成robots.txt的软件。但是，我觉得还是手写比较好。
1.站长工具里面有一个可以自动生成robots文件，http://tool.chinaz.com/robots/
2.http://www.atool.org/robots.txt.php
3.那么就是金花站长。我主要使用这几款。但是现在都是自己写。主要对于不懂得同学。希望对你们有帮助谢谢。
声明：转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。本站部分图文来源于网络，仅供学习交流，发表作品观点仅代表作者本人，本站仅提供信息存储空间服务，不承担连带责任。如有侵权，请及时联系管理员删除。
评论