robots.txt写法大全(网站优化人员必看!)

  robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件,想要网站被收录,必须要些robots.txt

  准备一个域名,空间。 域名就是大家所谓的网址,空间就是这个网站所存储的地方

  域名准备好之后就开始建站了,建完站首先要分析要不要被搜索引擎抓取页面然后展现。 这个时候就要开始些robots文件了。 举例来说,当spider访问一个网站(比如禁止搜索引擎抓取的话,那么搜索引擎就不会对网站进行索引并展现

  那么怎么样能不让搜索引擎抓取呢?又怎么能让搜索引擎抓取呢?那么就要说下Disallow和Allow这两个命令的用法了。 首先User-agent是代表搜索引擎能否抓取页面的开始。 下面就是Disallow和Allow的选择了。 详细的写法如下

  robots.txt文件用法举例:

  1. 允许所有的robot访问

  User-agent: * Allow: / 或者 User-agent: * Disallow:

  2. 禁止所有搜索引擎访问网站的任何部分

  User-agent: *

  Disallow: /

  3. 仅禁止Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow: /

  4. 仅允许Baiduspider访问您的网站

  User-agent: Baiduspider

  Disallow:

  5. 禁止spider访问特定目录

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6. 允许访问特定目录中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  7. 使用”*”限制访问url

  禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8. 使用”$”限制访问url

  仅允许访问以”.htm”为后缀的URL。

  User-agent: *

  Allow: .htm$

  Disallow: /

  例9. 禁止访问网站中所有的动态页面

  User-agent: *

  Disallow: /*?*

  10. 禁止Baiduspider抓取网站上所有图片

  仅允许抓取网页,禁止抓取任何图片。

  User-agent: Baiduspider

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  6通常的robots写法就是上面的10种了,如果还有其他写法,后续会给大家详细的介绍

声明:准根文档网所有作品(图片、文字)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系 saizw@outlook.com