请选择 进入手机版 | 继续访问电脑版
繁体中文

巅峰霸主

 找回密码
 立即注册

QQ登录

只需一步,快速开始

robots.txt文件Allow与Disallow的写法正确的示例大全

[复制链接]
godkings 发表于 2017-2-10 17:53:05 | 显示全部楼层 |阅读模式

游客只能显示部分内容,请登录后查看帖子完整内容!!!注册完全免费。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
很多时候,发现有好多人不会写robots.txt文件,分不清Allow与Disallow的写法有时候甚至直接写错掉。下面就来一实际例子说明这两个标签的正确写法。

user-agent表示搜索引擎的蜘蛛名称,Allow表示允许的栏目或文件,Disallow表示不允许搜索引擎蜘蛛爬行和抓取的目录或文件。以下写法是正规正确的写法,列举出了国内的几乎所有搜索引擎蜘蛛名称。

  1. User-agent:  Baiduspider
  2. Allow:  /article
  3. Allow:  /oshtml
  4. Allow:  /wenzhang
  5. Disallow:  /product/
  6. Disallow:  /
复制代码
上面这段语句的意思是:搜索引擎名称是百度蜘蛛,允许抓取/article、/oshtml、/wenzhang目录下面的所以页面,禁止百度蜘蛛爬行和抓取/product/目录下的任何文件,【Disallow:  /】这个表示禁止百度蜘蛛抓取所以任何文件。


User-Agent:  Googlebot
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Disallow:  /
以上是允许谷歌搜索引擎抓取的栏目和不允许抓取的栏目。

User-agent:  MSNBot
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Disallow:  /

User-Agent:  360Spider
Allow:  /article
Allow:  /oshtml
Allow:  /wenzhang
Disallow:  /

User-Agent:  Yisouspider
Allow:  /article
Allow:  /oshtml
Allow:  /wenzhang
Disallow:  /

User-Agent:  Sogouspider
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /wenzhang
Disallow:  /

User-Agent:  Yahoo!  Slurp
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /wenzhang
Allow:  /oversea
Disallow:  /
回复

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|小黑屋|手机版|Archiver|巅峰霸主 ( 京ICP备12023415号-2 )

声明:本站的任何信息和内容仅代表作者的立场和观点,与巅峰霸主网无关。

禁止在巅峰霸主网发布任何与《中华人民共和国法律》相抵触的言论!

GMT+8, 2018-12-15 02:57 , Processed in 1.093750 second(s), 25 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表