• 当前位置: 首页 > 知识库 >正文
    • 查看作者
    • 网站robts文件的介绍、写作语法及robots meat标签的写法

      robots文件是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。因此,robots的优化会直接影响到搜索引擎对网站的收录情况,超级排名系统小编整理发布。

      1、robots介绍:

      搜索引擎机器人又叫搜索蜘蛛,在访问一个网站时,它会首先检查该站点根目录下是否存在robots.txt文件。如果存在,搜索引擎机器人就会按照该文件中的内容来确定访问范围;如果该文件不存在,那么搜索引擎机器人就会沿着链接去抓取。

      robots.txt必须放在一个网站的根目录下,而且文件名必须全部小写。如:www.name.com/ robots.txt。

      只有在需要禁止抓取某些内容时,写robots.txt才有意义。有的服务器设置有问题,robots文件不存在时会返回200状态码及一些错误信息,而不是404状态码,这有可能是搜索机器人错误解读robots文件信息,所以建议就算允许抓取所有内容,也要建一个空的robots文件。

      2、robots写作语法:

      user-agent后面为搜索机器人名称,如果是“*”号,则泛指所有的搜索引擎机器人;Disallow 后面是不允许访问文件目录,如果目录为空则不起任何禁止作用。

      下面例举一些robots.txt的具体用法。

      允许所有的搜索机器人访问,格式如下:

      user-agent: *

      Disallow:

      或者也可以创建一个空的robots.txt文件。

      禁止所有搜索引擎访问网站的任何部分,格式如下:

      user-agent: *

      Disallow: /

      禁止所有搜索引擎访问网站的某几个部分,比如需要禁止访问a、b、c、目录:

      user-agent: *

      Disallow: /a/

      Disallow: /b/

      Disallow: /c/

      禁止某个搜索引擎的访问,如禁止百度访问:

      user-agent: Baiduspider

      Disallow: /

      只允许某个搜索引擎的访问,如只对百度访问

      user-agent: Baiduspider

      Disallow:

      user-agent: *

      Disallow: /

      3、robots meta写法:

      另外,有必要进行拓展说明,对robots meta进行一些介绍:

      robots meta标签中没有大小写之分,mame=”robots”表示所有搜索引擎,可以针对某个具体搜索引擎写为:mame=”baiduspider”。content部分有四个指令选项:index、noidex、follow、nofollow,指令间以“,”分离。

      index指令告诉搜索引擎机器人抓取该页面

      follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

      robots meta 标签的缺省值是index和follow,只有inktomi(早期出现的搜索引擎)除外,对于它,缺省值是index,nofollow。

      具体写法为以下4种:

      1、<meta name=”robots”  content=”index,follow”>

      2、<meta name=”robots”  content=”noindex,follow”>

      3、<meta name=”robots”  content=”index,follow”>

      4、<meta name=”robots”  content=”noindex,follow”>

      其中<meta name=”robots”  content=”index,follow”>

      可以写成:

      <meta name=”robots”  content=”all”>

      而:

      <meta name=”robots”  content=”noindex,follow”>

      可以写成

      <meta name=”robots”  content=”none”>

      目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于robots meta标签,目前支持的并不多,但是正在逐渐增加。Googie是完全遵守的。

    • 0
    • 0
    • 0
    • 194
    • 请登录之后再进行评论

      登录
      超级排名系统