巅峰霸主 > 在线帮助文档 > 搜索引擎蜘蛛 > 百度蜘蛛已知名称

百度蜘蛛名称(已知)都有哪些

时间:2020-12-04 14:05:06  来源:巅峰霸主网  作者:烈火大地 点击:
摘要:百度蜘蛛不止一个,有好几个名称,而且作用不一样,所以在禁封搜索引擎蜘蛛的时候要格外小心,避免弄错了得不偿失……

大家最熟悉的百度蜘蛛名称是Baiduspider,但是除了这个还有以下这些:

  1. 网页搜索:Baiduspider

  2. 无线搜索:Baiduspider-mobile

  3. 图片搜索:Baiduspider-image

  4. 视频搜索:Baiduspider-video

  5. 新闻搜索:Baiduspider-news

  6. 百度搜藏 :Baiduspider-favo

  7. 百度联盟:Baiduspider-cpro

  8. 手机百度:baiduboxapp

  9. 渲染蜘蛛:Baiduspider-render

baiduspider抓取日志:

116.179.32.134 - - [29/Nov/2020:00:17:04 +0800] "GET / HTTP/1.1" 200 48025 "-" "Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

前面是百度蜘蛛的IP地址,紧接着是抓取时间,http/1.1后面的数字是状态码,200表示抓取成功,如果是404则表示错误;最后是百度蜘蛛的名称和来源网址

(责任编辑:陆柏熺)
评价:
用户名: 验证码: 看不清?点击更换


关注站长自媒体 获取更多优质内容

  • 百家号
    百家号
  • 头条号
    头条号
  • 企鹅号
    企鹅号

2019-2021 ©巅峰霸主网 京ICP备12023415号-2
返回
顶部