蜘蛛进行网站日志爬行参数的详细说明

张俊SEM SEO基础472字数 784阅读2分36秒阅读模式

蜘蛛进行网站日志爬行参数的详细说明

蜘蛛作用是访问互联网上的html网页,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页。做seo的人一般都知道,研究蜘蛛爬行规律对于网站优化意义重大,本文简单说明一下蜘蛛爬行网站后返回代码所代表的具体含义:文章源自张俊SEM-https://zhangjunsem.com/5161.html

蜘蛛进行网站日志爬行参数的详细说明

蜘蛛进行网站日志爬行参数的详细说明

2xx 成功文章源自张俊SEM-https://zhangjunsem.com/5161.html

200 正常;请求已完成。文章源自张俊SEM-https://zhangjunsem.com/5161.html

201 正常;紧接 post 命令。文章源自张俊SEM-https://zhangjunsem.com/5161.html

202 正常;已接受用于处理,但处理尚未完成。文章源自张俊SEM-https://zhangjunsem.com/5161.html

203 正常;部分信息 — 返回的信息只是一部分。文章源自张俊SEM-https://zhangjunsem.com/5161.html

204 正常;无响应 — 已接收请求,但不存在要回送的信息。文章源自张俊SEM-https://zhangjunsem.com/5161.html

3xx 重定向文章源自张俊SEM-https://zhangjunsem.com/5161.html

301 已移动 — 请求的数据具有新的位置且更改是永久的。文章源自张俊SEM-https://zhangjunsem.com/5161.html

302 已找到 — 请求的数据临时具有不同 uri。文章源自张俊SEM-https://zhangjunsem.com/5161.html

303 请参阅其它 — 可在另一 uri 下找到对请求的响应,且应使用 get 方法检索此响应。

304 未修改 — 未按预期修改文档。

305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

306 未使用 — 不再使用;保留此代码以便将来使用。

4xx 客户机中出现的错误

400 错误请求 — 请求中有语法问题,或不能满足请求。

401 未授权 — 未授权客户机访问数据。

402 需要付款 — 表示计费系统已有效。

403 禁止 — 即使有授权也不需要访问。

404 找不到 — 服务器找不到给定的资源;文档不存在。

407 代理认证请求 — 客户机首先必须使用代理认证自身。

410 请求的网页不存在(永久);

415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。

5xx 服务器中出现的错误

500 内部错误 — 因为意外情况,服务器不能完成请求。

501 未执行 — 服务器不支持请求的工具。

502 错误网关 — 服务器接收到来自上游服务器的无效响应。

503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。

声明:转载此文是出于传递更多学习交流目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。本站部分图文来源于网络,仅供学习交流,发表作品观点仅代表作者本人,本站仅提供信息存储空间服务,不承担连带责任。如有侵权,请及时联系管理员删除。

weinxin
ynxtwl
加个微信
交个朋友
张俊SEM
  • 本文由 张俊SEM 发表于 2020年4月25日20:19:51
  • 转载请务必保留本文链接:https://zhangjunsem.com/5161.html
  • 蜘蛛
  • 蜘蛛爬取
  • 网站日志
百度统计直接访问流量来源对SEO影响
百度统计直接访问流量来源对SEO影响 seo优化

百度统计直接访问流量来源对SEO影响

很多站长在用百度统计时,看到大量IP来自直接访问,什么是直接访问,这个对SEO有没有直接影响?带着这些疑问,秀站网秀站网自己研究了一番,感兴趣的可以自己查看一下。 在百度统计实时访客中可以查看访客访问...
robots禁止抓取规则为什么还被收录
robots禁止抓取规则为什么还被收录 seo优化

robots禁止抓取规则为什么还被收录

有时候不希望搜索引擎抓取某些内容可以写robots.txt文件放到根目录,按理蜘蛛会首先读取这个文件,按照robots协议抓取相应的内容。但是许多站长们发现,蜘蛛并不太遵守这个协议。 为验证这个问题,...
DedeCMS文章分页与SEO的影响
DedeCMS文章分页与SEO的影响 seo优化

DedeCMS文章分页与SEO的影响

为什么页面要分页处理 分页对用户体验是好是坏? 对用户体验来说,文章长篇大论不是什么好事,最好能实现分页的效果,建议一般的文章不要超过5页,用户可以通过翻页的形式查看,而搜索引擎也能通过分页链接爬取。...