• 弘扬独特养生文化 馆陶举办首届彭艾开镰节 2019-11-16
  • 巢湖市第三届少儿器乐比赛圆满落幕 2019-11-16
  • 晋中3500万打造“139记忆项目” 2019-11-09
  • 雷政富狱中发声:否认漏罪举报 不服原判正申诉 2019-11-09
  • 戴斌:旅游开发需更多文化自信 2019-11-08
  • 好像很厉害的样子!工科男4个月画出8米长富春山居图 2019-11-03
  • 美酒美食 每天下午茶:曲奇配美酒曲奇 葡萄酒 2019-10-26
  • 第529期:辅助降压、缓解便秘……薯类食物好处多多,怎样吃更健康? 2019-10-21
  • 药师佛与药王菩萨是同一个人吗? 2019-10-21
  • 中国共产党党旗党徽制作和使用的若干规定 2019-10-15
  • 南越王宫博物馆:《广东四大名窑》开讲 2019-10-10
  • 俄罗斯驻华大使:未来上合的首要任务是加强区域一体化 2019-10-09
  • 美醉酒女子把头塞进卡车排气筒被困 消防员解救 2019-10-09
  • 精神在,没有什么坎是过不去的 2019-10-06
  • 风力发电机 藏身高楼中 2019-10-03
  • 我们的观点

    郑州高端网站建设分享网站robots文件的写法规则

    辽宁12选5走势图表分析 www.rgxh.net 发表时间:2015-11-26 发布人员:gll

    首页 > 我们的观点

      要想写好robots文件,还要明白robots文件标签的意义与规则,辽宁12选5走势图表分析为大家整理了一份相关内容,如下

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

     

      disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

     

      disallow: /abc/ 这里定义是禁止爬寻abc整个目录

     

      disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以“。htm”为后缀的url(包含子目录)

     

      disallow: /*?* 禁止访问网站中所有的动态页面

     

      disallow: /jpg$ 禁止抓取网页所有的。jpg格式的图片

     

      disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件

     

      user-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

     

      allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

     

      allow: /tmp 这里定义是允许爬寻tmp的整个目录

     

      allow: .htm$ 仅允许访问以“。htm”为后缀的url

     

      allow: .gif$ 允许抓取网页和gif格式图片

     

      详细了解了这些内容之后相信robots文件已经差不多明白了,关于网站建设,关于网站优化,新元色高端网站建设都在这里等你咨询为您服务建设网站:18837162405       400-090-1630

     

    上一篇:营销型品牌网站建设怎么做 下一篇:郑州网站建设选择域名法则
  • 弘扬独特养生文化 馆陶举办首届彭艾开镰节 2019-11-16
  • 巢湖市第三届少儿器乐比赛圆满落幕 2019-11-16
  • 晋中3500万打造“139记忆项目” 2019-11-09
  • 雷政富狱中发声:否认漏罪举报 不服原判正申诉 2019-11-09
  • 戴斌:旅游开发需更多文化自信 2019-11-08
  • 好像很厉害的样子!工科男4个月画出8米长富春山居图 2019-11-03
  • 美酒美食 每天下午茶:曲奇配美酒曲奇 葡萄酒 2019-10-26
  • 第529期:辅助降压、缓解便秘……薯类食物好处多多,怎样吃更健康? 2019-10-21
  • 药师佛与药王菩萨是同一个人吗? 2019-10-21
  • 中国共产党党旗党徽制作和使用的若干规定 2019-10-15
  • 南越王宫博物馆:《广东四大名窑》开讲 2019-10-10
  • 俄罗斯驻华大使:未来上合的首要任务是加强区域一体化 2019-10-09
  • 美醉酒女子把头塞进卡车排气筒被困 消防员解救 2019-10-09
  • 精神在,没有什么坎是过不去的 2019-10-06
  • 风力发电机 藏身高楼中 2019-10-03
  • 彩票方案 竞彩足球比分直播360 宝胜娱乐 打牌九游戏 赌神梭哈动态图片 湖南幸运赛车官方网站开奖 云南快乐10分走势图今 进球彩开奖结果查询 足球训练10个基本动作 山东时时彩app下载 期平特一码 新疆时时开奖上银狐网 有没有什么好用的计划软件 飞艇人工计划和软件计划 云南快乐十分任六奖金