网站地图 - 许正卫

零基础无门槛,带你轻松学习SEO,轻松入门,更专业、更实用、更高效!你的专属SEO基础教程网!

您的当前位置:大地网络营销学习网 > SEO基础教程 > 什么是robots文件?robots文件的作用?

什么是robots文件?robots文件的作用?

来源:伪原创 编辑:柳晓辉 时间:2018-04-02
  我在之前《新手入门SEO该怎么破,如何快速入门SEO,SEO怎么入门》的文章里提到过robots,很多人应该还对此不是很明白,今天就来说一说什么是robots文件、robots文件的作用。
  Robots文件是一种存放于网站根目录下的文本文件,一般称为robots.txt。当搜索引擎蜘蛛访问你的网站,第一个看的就是你网站站点根目录下是否存在robots.txt,如果找到,蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索引擎蜘蛛就会沿着链接抓取。Robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。一般来说,相应的网站就会有一个对应的robots.txt文件,如:http://www.xuzhengwei.com/robots.txt。
   
        Robots.txt文件具体写法
  1)允许所有搜索引擎访问
  User-agent:*
  Disallow:
  或
  User-agent:*
  Allow:/
  注意,可以直接建一个空文件“Robots.txt",然后放到网站的根目录。
  2)禁止所有搜索引擎访问
  User-agent:*
  Disallow:/
  或
  User-agent:*
  allow:
  3)禁止所有搜索引擎访问网站中的几个部分
  在这里用a、b、c目录来代替。
  User-agent:*
  Disallow:/a/
  Disallow:/b/
  Disallow:/c/
  如果是允许,则是
  Allow:/a/
  Allow:/b/
  Allow:/c/
  4)禁止某个搜索引擎的访问
  User-agent:w(比如用w来代替)
  Disallow:/
  或
  User-agent:w
  Disallow:/d/*.htm
  在Disallow:后面加/d/*.htm的意思是禁止访问/d/目录下的所有以“.htm”为后缀的URL,包含子目录。
  5)只允许某个搜索引擎的访问
  User-agent:e(用e来代替)
  Disallow:
  在Disallow:后面不加任何东西,意思是仅允许e访问该网站。
  6)使用“$”限制访问URL
  User-agent:*
  Allow:.htm&
  Disallow:/
  意思是仅允许访问以“htm”为后缀的URL
  7)禁止访问网站中所有的动态页面
  User-agent:*
  Disallow:/*?*
  8)禁止搜索引F抓取网站上所有图片
  User-agent:F
  Disallow:.jpg&
  Disallow:.jpeg&
  Disallow:.gif&
  Disallow:.pngs$
  Disallow:.bmps$
  意思是只允许搜索引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片)。
  9)只允许搜索引擎E抓取网页和gif格式图片
  Allow:gif&
  Disallow:.jpg&
  Disallow:.png&
  意思是指允许搜索引擎抓取网页和gif格式图片,不允许抓取其他格式图片。

相关文章:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目分类

Copyright © 2018 安徽国防 版权所有 Power by 16电商2班

联系QQ:点击这里给我发消息 seo基础教程QQ群:百度推广交流

京ICP备11016762号-4

Top