• 人民网评:异地医保的步子还需更大一些 2019-07-18
  • 敢想敢拼的邹市明:用奥运精神助推青少年体育事业发展 2019-07-13
  • 改革开放40年——从全国糖酒会看酒业跌宕起伏酒业 中国 2019-07-13
  • 这三个史无前例,让美国有点懵了 2019-07-11
  • 文创大咖齐聚成都 共话“一带一路”文化交流 2019-07-06
  • 农历五月初二 唐代高僧雪峰义存禅师圆寂纪念日 2019-07-06
  • 山西与腾讯公司签署战略合作协议 2019-07-04
  • 山西:“四好农村路” 致富添门路 2019-07-02
  • 【专题】社会主义核心价值观主题微电影优秀作品展示 2019-07-02
  • 《钟馗捉妖记》杨旭文为魔族惨烈“献身” 2019-06-10
  • 个税法迎第七次大修 起征点由每月3500元提高至5000元 2019-06-10
  • 摄影师捕捉超强EF3龙卷风 巨大云团画面惊险壮观 2019-05-26
  • 农民夜校成十九大精神宣讲重要课堂 2019-05-25
  • 拆迁款分配引冲突 儿子推倒八旬老父致其死亡 2019-05-25
  • 2017年邵逸夫奖在港颁奖 5位科学家获此殊荣 2019-05-23
  • 代理加盟 2019全新代理计划 赚钱+省钱双管齐下,独立平台,丰厚利润!

    您现在的位置: 11选5任四包赚不赔40注 > 站长学院 > SEO资讯 >

    广东11选5套利方法最新:什么是robots协议对seo的影响

    来源:未知 发布时间:2019-03-30热度: ℃我要评论
    什么是robots协议 蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于 指定spider在您网站上的抓取范围 。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。 robots.txt文件位置 r...

    11选5任四包赚不赔40注 www.zo-n.com

    robots协议的作用

    什么是robots协议

    蜘蛛spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。早期robots协议是防止网站内的隐私,防止抓取用户不想让搜索引擎曝光的页面。

    robots.txt文件位置

    robots.txt文件应该放置在网站根目录下。比如https://www.vi586.com/robots.txt这个文件

    robots一般格式

    User-agent: *
    Disallow: 
    allow:

    robots不支持中文

    百度蜘蛛目前在robots里不支持中文,如果路径里面带了中文,可以选择UrlEncode编码的写法,如

    //www.xx.com/tags/%D7%B0%D0%DE%CE%AC%BB%A4%B1%A3%D1%F8.html

    "*"和"$"的含义

    Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

    "$" 匹配行结束符。
    "*" 匹配0或多个任意字符。

    robots协议对seo优化的影响

    1.屏蔽隐私内容或无内容页面。前面提到蜘蛛的爬取对索引量有着重要的作用,能缩短收录周期。蜘蛛一般都会全站爬取内容,但有些质量一般的页面被抓取会影响整体排名,比如:登陆页、注册页、购物车、表纲、个人隐私文件等。

    2.屏蔽某些动态的内容屏蔽,如:tag标签,在刚开始的时候尽量屏蔽蜘蛛抓取,到后期稳定的时候再整理后开放。tag标签的作用可以参考《TAG标签的正确用法》

    3.屏蔽重复内容页面。如:多个页面无内容或空评论;不同路径打开的页面都一样。跟带www和不带www的页面说法不一样,可以把这两个页面301重定向到其中一个,集中权重。

    4.屏蔽死链接。一般的死链会返回404错误,当然站内错误或服务器问题,是无法屏蔽的。

    robots的主要功能

    1.禁止蜘蛛抓取

    dede后台有很多php、js、css等内容,但这些内容对排名没有太大作用,可以使用disallow禁止抓取。

    User-agent: sogou spider
    Disallow: /

    代表禁止搜狗蜘蛛进行抓取,在中国大陆范围内,一般的企业网站只要百度蜘蛛,谷歌蜘蛛,360蜘蛛就可以了,其他蜘蛛频繁抓取网站会造成网站访问速度受到影响。如果禁止这些蜘蛛进行抓取,搜索引擎认为你是不友好的。

    2.引导蜘蛛抓取

    Sitemap: //www.vi586.com/sitemap.xml

    以上字段是引导蜘蛛按照sitemap网站地图的要求抓取。蜘蛛的抓取顺序是按照编写自上而下,如果控制得越精确,则遵循精确的规则。

    3.控制抓取范围

    该行有符号“/”,代表着只包含该栏目下的文章/目录/子类,不包含本身;

    反之无“/”,代表包含包含该栏目下的文章/目录/子类和本身。

    4.举例最常见的robots.txt写法

    DedeCMS的robots的写法:

    User-agent: *
    Disallow: /plus/ad_js.php
    Disallow: /plus/advancedsearch.php
    Disallow: /plus/car.php
    Disallow: /plus/carbuyaction.php
    Disallow: /plus/shops_buyaction.php
    Disallow: /plus/erraddsave.php
    Disallow: /plus/posttocar.php
    Disallow: /plus/disdls.php
    Disallow: /plus/feedback_js.php
    Disallow: /plus/feedback.php
    Disallow: /plus/mytag_js.php
    Disallow: /plus/rss.php
    Disallow: /plus/search.php
    Disallow: /plus/recommend.php
    Disallow: /plus/stow.php
    Disallow: /plus/count.php
    Disallow: /plus/heightsearch.php
    Disallow: /tags.php
    Disallow: /member
    Disallow: /include
    Disallow: /templets
    User-agent: sogou spider
    Disallow: /
    User-agent: MSNBot
    Disallow: /
    User-agent: Slurp
    Disallow: /
    User-agent: Teoma
    Disallow: /
    User-agent: Gigabot
    Disallow: /
    User-agent: Scrubby
    Disallow: /
    User-agent: Robozilla
    Disallow: /
    User-agent: Nutch
    Disallow: /
    Sitemap: //www.vi586.com/sitemap.xml

    这里要注意网站地图网站robots的最后面,让搜索引擎先遵循抓取范围再引导抓取结构。

    robots安全重要说明

    robots不管是对搜索引擎还是对任何人都是可以访问的,容易暴露某些隐私或后台程序,而每个建站程序都有漏洞,树大才招风,黑客利用这些漏洞做些不好的事情,后果不堪设想。一般的大型网站都是自己搭建程序,成本较高,漏洞也较少(只是没那么多人攻击)。

    对DEDE、DZ、PW等使用的比较多的建站程序,有很多开源的功能,没有经验的站长很容易成为别人的“肉鸡”,经常检查自己网站的外链、快照情况就能发现是不是被人动了手脚。查看文章《别让网站的robots成为最大的漏洞》。

    本文地址://www.zo-n.com/seo/1214.html

      发表评论

      评论列表(条)

      • 人民网评:异地医保的步子还需更大一些 2019-07-18
      • 敢想敢拼的邹市明:用奥运精神助推青少年体育事业发展 2019-07-13
      • 改革开放40年——从全国糖酒会看酒业跌宕起伏酒业 中国 2019-07-13
      • 这三个史无前例,让美国有点懵了 2019-07-11
      • 文创大咖齐聚成都 共话“一带一路”文化交流 2019-07-06
      • 农历五月初二 唐代高僧雪峰义存禅师圆寂纪念日 2019-07-06
      • 山西与腾讯公司签署战略合作协议 2019-07-04
      • 山西:“四好农村路” 致富添门路 2019-07-02
      • 【专题】社会主义核心价值观主题微电影优秀作品展示 2019-07-02
      • 《钟馗捉妖记》杨旭文为魔族惨烈“献身” 2019-06-10
      • 个税法迎第七次大修 起征点由每月3500元提高至5000元 2019-06-10
      • 摄影师捕捉超强EF3龙卷风 巨大云团画面惊险壮观 2019-05-26
      • 农民夜校成十九大精神宣讲重要课堂 2019-05-25
      • 拆迁款分配引冲突 儿子推倒八旬老父致其死亡 2019-05-25
      • 2017年邵逸夫奖在港颁奖 5位科学家获此殊荣 2019-05-23
      • 重庆百变王牌走势图链接 香港六合彩图库资料 上期大乐透中奖号码是多少 今天nba比分被扣掉 上海快三开奖预测 今晚开奖的七乐彩结果 新浪爱彩网 游棋牌百人牛牛 喝酒玩梦幻诈金花 英超联赛腾讯网 广西快三开奖视频结果 公益中华彩票中心 河北11选5开奖走势 排球比分直播大赢家 六开六肖中特