• 报道新闻记录历史 70载人民日报见证中国发展大事 2019-05-12
  • 中共十八大以来藏语新词术语发布 2019-05-10
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-05-09
  • 世界杯来了 电影大片也来了 2019-05-07
  • 六月新疆的景色美的不像人间 那都是因为薰衣草 2019-05-05
  • 野猪成功"预测"特朗普当总统 现给出世界杯4强名单 2019-05-05
  • 乡村振兴开好局夏粮丰收成定局 2019-05-04
  • 搞市场经济,也不意味这政府就能偷懒,不是什么都甩给市场,美其名曰"市场会自我调节" 2019-05-01
  • “铁三角”里张国立老被说是最抠的 2019-05-01
  • 【理上网来·辉煌十九大】泰国前副总理披尼:相信十九大以后中国的经济政策会更加开放 2019-04-27
  • 中纪委4年来通报曝光问题近4000起 2019-04-27
  • 整治凸显民生 采砂更需环保 2019-04-22
  • 网友@数博会(十四):期待数博会带来新精彩新发展 2019-04-18
  • 娱乐 —频道 春城壹网 七彩云南 一网天下 2019-04-14
  • 大零售渐入佳境 下半场转型倚重金融科技 2019-03-30
  • 我们的观点

    郑州高端网站建设分享网站robots文件的写法规则

    辽宁12选5走势图表分析 www.rgxh.net 发表时间:2015-11-26 发布人员:gll

    首页 > 我们的观点

      要想写好robots文件,还要明白robots文件标签的意义与规则,辽宁12选5走势图表分析为大家整理了一份相关内容,如下

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

     

      disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

     

      disallow: /abc/ 这里定义是禁止爬寻abc整个目录

     

      disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以“。htm”为后缀的url(包含子目录)

     

      disallow: /*?* 禁止访问网站中所有的动态页面

     

      disallow: /jpg$ 禁止抓取网页所有的。jpg格式的图片

     

      disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

     

      allow: /tmp 这里定义是允许爬寻tmp的整个目录

     

      allow: .htm$ 仅允许访问以“。htm”为后缀的url

     

      allow: .gif$ 允许抓取网页和gif格式图片

     

      详细了解了这些内容之后相信robots文件已经差不多明白了,关于网站建设,关于网站优化,新元色高端网站建设都在这里等你咨询为您服务建设网站:18837162405       400-090-1630

     

    上一篇:营销型品牌网站建设怎么做 下一篇:郑州网站建设选择域名法则
  • 报道新闻记录历史 70载人民日报见证中国发展大事 2019-05-12
  • 中共十八大以来藏语新词术语发布 2019-05-10
  • 航天员沙漠野外生存训练完美收官!为第一天团打call 2019-05-09
  • 世界杯来了 电影大片也来了 2019-05-07
  • 六月新疆的景色美的不像人间 那都是因为薰衣草 2019-05-05
  • 野猪成功"预测"特朗普当总统 现给出世界杯4强名单 2019-05-05
  • 乡村振兴开好局夏粮丰收成定局 2019-05-04
  • 搞市场经济,也不意味这政府就能偷懒,不是什么都甩给市场,美其名曰"市场会自我调节" 2019-05-01
  • “铁三角”里张国立老被说是最抠的 2019-05-01
  • 【理上网来·辉煌十九大】泰国前副总理披尼:相信十九大以后中国的经济政策会更加开放 2019-04-27
  • 中纪委4年来通报曝光问题近4000起 2019-04-27
  • 整治凸显民生 采砂更需环保 2019-04-22
  • 网友@数博会(十四):期待数博会带来新精彩新发展 2019-04-18
  • 娱乐 —频道 春城壹网 七彩云南 一网天下 2019-04-14
  • 大零售渐入佳境 下半场转型倚重金融科技 2019-03-30