请选择 进入手机版 | 继续访问电脑版

巅峰霸主

 找回密码
 立即注册

QQ登录

只需一步,快速开始

百度蜘蛛抓取网站日志蜘蛛记录说明

[复制链接] [添加相关主题]
烈火大地 发表于 2019-5-31 13:00:23 | 显示全部楼层 |阅读模式
阿里云服务器2折起!

游客只能显示部分内容,请登录后查看帖子完整内容!!!注册完全免费。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
百度蜘蛛抓取网站日志分析说明,百度蜘蛛记录日志中的代码是什么意思呢。一般我们的网站日志放在社么地方?网站日志通常存放在网站根目录下的“log文件夹”或“logfiles文件夹”,文件夹名称视各虚拟主机提供商不同而不同。网站日志是以txt结尾的文本文件。
可以通过FPT等网站上传下载工具将日志下载回自己电脑进行分析,当然也可以再服务器上直接用记事本方式打开查看
(最好在本地看,服务器上看,文件大的话容易造成卡死,文件一般用写字板或其他工具打开,因为日记文件大小会导致记事本无法被打开)
网站日志案例分析:
1、日志语法:
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2014-08-20 00:00:17
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes
说明:
#Software:表示软件名称;
#Version:表示版本号;
#Date:表示时间
#Fields:说明如下:
date:表示记录访问日期;
time:访问具体时间;
s-sitename:表示你的虚拟主机的代称或机器码;
s-ip:服务器IP;
cs-method:表示访问方法或发生的请求/提交事件,常见的有两种:一个是GET,就是平常我们打开一个URL访问的动作,另一个是POST,提交表单时的动作;
cs-uri-stem:用户在当前时间访问哪一个文件或具体页面;
cs-uri-query:是指访问地址的附带参数,如asp文件?后面的字符串id=12等等,如果没有参数则用“-”表示;
s-port:访问的端口
cs-username:访问者名称,如果没有参数则用“-”表示;
c-ip:访问者IP
cs(User-Agent):访问的搜索引擎和蜘蛛名称;
sc-status:Http状态码,200表示成功,403表示没有权限,404表示打不到该页面,500表示程序有错;
sc-substatus:服务端传送到客户端的字节大小;
cs–win32-statu:客户端传送到服务端的字节大小;
sc-bytes:服务端传送数据字节大小;

cs-bytes:用户请求数据字节大小;
http状态码后面几位数据没有固定格式,如果只有一个表示下载数据字节大小;
2、Http状态码:
1**:请求收到,继续处理
2**:操作成功收到,分析、接受
3**:完成此请求必须进一步处理
4**:请求包含一个错误语法或不能完成
5**:服务器执行一个完全有效请求失败
举例:]的其中一个日志代码如下:
2014-08-20 15:34:32 W3SVC622339 222.214.216.199 GET /game.htm– 80 – 123.125.66.70 Baiduspider+(+http://www.baidu.com/search/spider.htm) 304 0 0 283
[说明]
这一记录表示百度蜘蛛在2014-08-20 15:34:32爬过网站根目录下的“game.htm“这个页面,
通过返回的304状态码表示蜘蛛认为网页内容没有更新或没有修改,
283表示蜘蛛下载这一页面的字节体积大小。
查找:http://www.baidu.com/search/spider.html 后面有一连串的
2开头 属于正常
3开头 跳转
4开头抓取失效
5开头 服务器错误
2.3开头 属于正常的

网站日志中返回代码的含义:
一:1xx (临时响应)表示临时响应并需要请求者继续执行操作的状态代码。
  100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。
  101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。
二:2xx (成功)表示成功处理了请求的状态代码。
  200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。
  201 (已创建) 请求成功并且服务器创建了新的资源。
  202 (已接受) 服务器已接受请求,但尚未处理。
  203 (非授权信息) 服务器已成功处理了请求,但返回的信息可能来自另一来源。
  204 (无内容) 服务器成功处理了请求,但没有返回任何内容。
  205 (重置内容) 服务器成功处理了请求,但没有返回任何内容。
  206 (部分内容) 服务器成功处理了部分 GET 请求。
三:3xx (重定向)表示要完成请求,需要进一步操作。通常,这些状态代码用来重定向。     
  300 (多种选择) 针对请求,服务器可执行多种操作。 服务器可根据请求者 (useragent) 选择一项操作,或提供操作列表供请求者选择。
  301 (永久移动) 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或HEAD 请求的响应)时,会自动将请求者转到新位置。
  302 (临时移动) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。
  303 (查看其他位置) 请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。
  304 (未修改) 自从上次请求后,请求的网页未修改过。 服务器返回此响应时,不会返回网页内容。
  305 (使用代理) 请求者只能使用代理访问请求的网页。 如果服务器返回此响应,还表示请求者应使用代理。
  307 (临时重定向) 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。
四:4xx (请求错误) 这些状态代码表示请求可能出错,妨碍了服务器的处理。
  400 (错误请求) 服务器不理解请求的语法。
  401 (未授权) 请求要求身份验证。 对于需要登录的网页,服务器可能返回此响应。
  403 (禁止) 服务器拒绝请求。404 (未找到) 服务器找不到请求的网页。
  405 (方法禁用) 禁用请求中指定的方法。
  406 (不接受) 无法使用请求的内容特性响应请求的网页。
  407 (需要代理授权) 此状态代码与 401(未授权)类似,但指定请求者应当授权使用代理。408 (请求超时)服务器等候请求时发生超时。
  409 (冲突) 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
  410 (已删除) 如果请求的资源已永久删除,服务器就会返回此响应。
  411 (需要有效长度) 服务器不接受不含有效内容长度标头字段的请求。
  412 (未满足前提条件) 服务器未满足请求者在请求中设置的其中一个前提条件。
  413 (请求实体过大) 服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。
  414 (请求的 URI 过长) 请求的 URI(通常为网址)过长,服务器无法处理。
  415 (不支持的媒体类型) 请求的格式不受请求页面的支持。
  416 (请求范围不符合要求) 如果页面无法提供请求的范围,则服务器会返回此状态代码。
  417 (未满足期望值) 服务器未满足"期望"请求标头字段的要求。
五:5xx (服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
  500 (服务器内部错误) 服务器遇到错误,无法完成请求。
  501 (尚未实施) 服务器不具备完成请求的功能。 例如,服务器无法识别请求方法时可能会返回此代码。
  502 (错误网关) 服务器作为网关或代理,从上游服务器收到无效响应。
  503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。 通常,这只是暂时状态。
  504 (网关超时) 服务器作为网关或代理,但是没有及时从上游服务器收到请求。
   505 (HTTP 版本不受支持) 服务器不支持请求中所用的 HTTP 协议版本。


上一篇:新站百度收录只收录首页或不收录内页一直不收录解析
下一篇:百度蜘蛛IP说明仅供参考百度蜘蛛抓取网页留下的ip的含义
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|巅峰霸主 ( 京ICP备12023415号-2 )

声明:本站的任何信息和内容仅代表作者的立场和观点,与巅峰霸主网无关。

禁止在巅峰霸主网发布任何与《中华人民共和国法律》相抵触的言论!

GMT+8, 2019-10-16 17:15 , Processed in 0.081487 second(s), 22 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表