• 马云最新演讲:形势,变了!(信息量很大) 2019-07-18
  • 幸福是奋斗出来的——亚心网专题 2019-07-13
  • 绿色宜居独山子—天山网 2019-07-10
  • 中超两将或联袂登场 非洲雄鹰能否再演黑马本色 2019-07-10
  • 肖荻的博客—强国博客—人民网 2019-07-10
  • 加快南昌航空货运发展推进会举行 2019-07-09
  • 夏天一个动作可能令心脑血管瞬间崩溃 2019-07-06
  • 端午假期国内游客超8900万人次 全域旅游见成效 2019-07-05
  • 今年工资咋涨?多地发布2018年企业工资指导线 2019-06-30
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-06-30
  • 这位游客骨骼清奇送你一份小长假游新疆攻略 2019-06-21
  • [大笑]那依然是按劳(劳动价值或劳动能力)分配也! 2019-06-21
  • 雅希《不祝你幸福》首发 诠释爱情最后的意义雅希 2019-06-20
  • 火啦!巴西门将踩气球火遍网络,各种神P图 2019-06-19
  • 欧阳绍修:孜孜以求为祖国研制“争气机” 2019-06-19
  • 我们的观点

    郑州高端网站建设分享网站robots文件的写法规则

    辽宁12选5走势图表分析 www.rgxh.net 发表时间:2015-11-26 发布人员:gll

    首页 > 我们的观点

      要想写好robots文件,还要明白robots文件标签的意义与规则,辽宁12选5走势图表分析为大家整理了一份相关内容,如下

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

     

      disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

     

      disallow: /abc/ 这里定义是禁止爬寻abc整个目录

     

      disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以“。htm”为后缀的url(包含子目录)

     

      disallow: /*?* 禁止访问网站中所有的动态页面

     

      disallow: /jpg$ 禁止抓取网页所有的。jpg格式的图片

     

      disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

     

      allow: /tmp 这里定义是允许爬寻tmp的整个目录

     

      allow: .htm$ 仅允许访问以“。htm”为后缀的url

     

      allow: .gif$ 允许抓取网页和gif格式图片

     

      详细了解了这些内容之后相信robots文件已经差不多明白了,关于网站建设,关于网站优化,新元色高端网站建设都在这里等你咨询为您服务建设网站:18837162405       400-090-1630

     

    上一篇:营销型品牌网站建设怎么做 下一篇:郑州网站建设选择域名法则
  • 马云最新演讲:形势,变了!(信息量很大) 2019-07-18
  • 幸福是奋斗出来的——亚心网专题 2019-07-13
  • 绿色宜居独山子—天山网 2019-07-10
  • 中超两将或联袂登场 非洲雄鹰能否再演黑马本色 2019-07-10
  • 肖荻的博客—强国博客—人民网 2019-07-10
  • 加快南昌航空货运发展推进会举行 2019-07-09
  • 夏天一个动作可能令心脑血管瞬间崩溃 2019-07-06
  • 端午假期国内游客超8900万人次 全域旅游见成效 2019-07-05
  • 今年工资咋涨?多地发布2018年企业工资指导线 2019-06-30
  • 人民日报为人民,70年办报不容易,办报人付出了心血和汗水,记录了中国的发展过程,祝愿办得越来越好! 2019-06-30
  • 这位游客骨骼清奇送你一份小长假游新疆攻略 2019-06-21
  • [大笑]那依然是按劳(劳动价值或劳动能力)分配也! 2019-06-21
  • 雅希《不祝你幸福》首发 诠释爱情最后的意义雅希 2019-06-20
  • 火啦!巴西门将踩气球火遍网络,各种神P图 2019-06-19
  • 欧阳绍修:孜孜以求为祖国研制“争气机” 2019-06-19
  • 广西快乐双彩预测号码 辽宁快乐12前一三直选遗漏 欢乐升级腾讯安卓版 浙江体彩20选5复式对 快乐十分现场摇奖 山东群英会开奖查询走势图昨天 极速飞艇技巧攻略 手机真钱棋牌游戏下载大全 福体彩22选5开奖结果查询今天 网上广西快乐10分网址 华东15选5彩票计算器 贵州快三豹子遗漏 云南十一选五五码分布图 足彩混合过关中奖计算 浙江快乐12任三遗漏数据