• 人民网评:异地医保的步子还需更大一些 2019-07-18
  • 敢想敢拼的邹市明:用奥运精神助推青少年体育事业发展 2019-07-13
  • 改革开放40年——从全国糖酒会看酒业跌宕起伏酒业 中国 2019-07-13
  • 这三个史无前例,让美国有点懵了 2019-07-11
  • 文创大咖齐聚成都 共话“一带一路”文化交流 2019-07-06
  • 农历五月初二 唐代高僧雪峰义存禅师圆寂纪念日 2019-07-06
  • 山西与腾讯公司签署战略合作协议 2019-07-04
  • 山西:“四好农村路” 致富添门路 2019-07-02
  • 【专题】社会主义核心价值观主题微电影优秀作品展示 2019-07-02
  • 《钟馗捉妖记》杨旭文为魔族惨烈“献身” 2019-06-10
  • 个税法迎第七次大修 起征点由每月3500元提高至5000元 2019-06-10
  • 摄影师捕捉超强EF3龙卷风 巨大云团画面惊险壮观 2019-05-26
  • 农民夜校成十九大精神宣讲重要课堂 2019-05-25
  • 拆迁款分配引冲突 儿子推倒八旬老父致其死亡 2019-05-25
  • 2017年邵逸夫奖在港颁奖 5位科学家获此殊荣 2019-05-23
  • 代理加盟 2019全新代理计划 赚钱+省钱双管齐下,独立平台,丰厚利润!

    您现在的位置: 11选5任四包赚不赔40注 > 站长学院 > SEO资讯 >

    十一选五117注万能大底:robots添加Sitemap链接位置

    来源:未知 发布时间:2019-03-30热度: ℃我要评论
    robots.txt声明网站中哪些目录不让搜索引擎收录, 执行顺序从上到下 ,robots.txt写法,添加sitemap链接,什么是robots协议对seo的影响。sitemap是谷歌创造出来的,搜索引擎会优先读取sitemap.xml文件,如果没有就逐个抓取URL。 基本语法 User-agent: 定义禁止搜索引擎...

    11选5任四包赚不赔40注 www.zo-n.com

           robots.txt声明网站中哪些目录不让搜索引擎收录,执行顺序从上到下,robots.txt写法,添加sitemap链接,什么是robots协议对seo的影响。sitemap是谷歌创造出来的,搜索引擎会优先读取sitemap.xml文件,如果没有就逐个抓取URL。

    robots用法与sitemap链接位置

    基本语法     

    User-agent:定义禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎
    Disallow:不允许收录
    Allow:允许收录
    #:注释

    全站屏蔽所有蜘蛛

          网站改版之前,为了避免蜘蛛抓取错误或临时的链接,可以采用全站屏蔽蜘蛛的操作,在根目录建立robots.txt,添加如下内容:

    User-agent:*
    Disallow:/

    屏蔽某个目录、文件

           案例:屏蔽所有蜘蛛抓取根目录下的inc文件夹及里面的所有内容,根目录下的wap目录下的index.html文件。robots.txt文件添加如下内容:

    User-agent:*
    Disallow:/inc/
    Disallow:/wap/index.html

    屏蔽某个目录,但抓取目录下的文件或文件夹

    ①案例:屏蔽所有蜘蛛抓取根目录下的wap文件夹,但抓取里面后缀名为html的文件

    User-agent:*
    Disallow:/wap/
    Allow:/wap/*.html

           注意:上面的写法,wap带“/”代表根目录下的wap目录下的内容。并不会禁止比如根目录下waptest的文件夹及文件夹所有内容。

    ②案例:禁止抓取根目录下所有前面带“wap”字符的文件夹及文件

    User-agent:*
    Disallow:/wap
    

           禁止了如:/wap/,/wap/12.html,/waptest/,/wapabc.html。

    ③案例:?;ひ轿募谢蛭募?/p>

           在别让网站的robots成为最大的安全漏洞一文说到,禁止搜索引擎抓取某些私密文件夹的同时,也暴露了网站的目录结构,猜出网站后台管理系统、后台等。

           比如:禁止抓取/include,就可以写成如下,当然前提是你的根目录里面没有前面带这些字符的文件夹或文件给蜘蛛抓取。

    User-agent:*
    Disallow:/inc

    屏蔽动态URL

           网站有些动态页面可能会和静态页面相同,造成重复收录。

    ①案例:用robots屏蔽动态URL

    User-agent:*
    Disallow:/*?*

    ②案例:仅允许访问“.html”为后缀的URL

    User-agent:*
    Allow:.html$
    Disallow:/

    屏蔽死链接

           网站改版、删除文章后,原来的URL如果已经被搜索引擎索引,出现404错误。一般的做法如下:

    ①查看网站日志,找出这些死链,用百度提交死链工具提交,慢慢的会删除这些死链;

    ②如果这个链接已经更换,也可以用301跳转到新的链接,301跳转后原页面和新页面处理办法;

    ③robots禁止蜘蛛抓取死链,写法同上,最好带完整路径

    User-agent:*
    Disallow://www.vi586.com/web/22.html

    屏蔽不参与排名的页面链接

           比如会员中心、登陆界面、联系我们等。这些虽然有实际用途,蜘蛛一样会爬取这些页面链接,这些页面也会分权,因此为了集中权重,一些完全不参与排名的页面应该用robots屏蔽。也可以在该页面的</head>之前添加<meta>声明,指向该页面的链接加上nofollow标签。

    <meta name="robots" content="noindex,nofollow"/>
    <a rel="nofollow" href="/member/login">登陆</a>

    sitemap索引在robots.txt的位置

           sitamap索引的位置最好放在robots.txt的最下面,蜘蛛先遵循前面的原则,再按照网站地图爬取。

    Sitemap: //www.vi586.com/sitemap.xml
    Sitemap: //www.vi586.com/sitemap.html

    本文地址://www.zo-n.com/seo/1531.html

      发表评论

      评论列表(条)

      • 人民网评:异地医保的步子还需更大一些 2019-07-18
      • 敢想敢拼的邹市明:用奥运精神助推青少年体育事业发展 2019-07-13
      • 改革开放40年——从全国糖酒会看酒业跌宕起伏酒业 中国 2019-07-13
      • 这三个史无前例,让美国有点懵了 2019-07-11
      • 文创大咖齐聚成都 共话“一带一路”文化交流 2019-07-06
      • 农历五月初二 唐代高僧雪峰义存禅师圆寂纪念日 2019-07-06
      • 山西与腾讯公司签署战略合作协议 2019-07-04
      • 山西:“四好农村路” 致富添门路 2019-07-02
      • 【专题】社会主义核心价值观主题微电影优秀作品展示 2019-07-02
      • 《钟馗捉妖记》杨旭文为魔族惨烈“献身” 2019-06-10
      • 个税法迎第七次大修 起征点由每月3500元提高至5000元 2019-06-10
      • 摄影师捕捉超强EF3龙卷风 巨大云团画面惊险壮观 2019-05-26
      • 农民夜校成十九大精神宣讲重要课堂 2019-05-25
      • 拆迁款分配引冲突 儿子推倒八旬老父致其死亡 2019-05-25
      • 2017年邵逸夫奖在港颁奖 5位科学家获此殊荣 2019-05-23
      • 波叔一波中特73期图 内蒙古快39188 体彩排列三试机号走势图 后二北京快三 克莉丝汀欢乐生肖月饼 河北20选5走势图连线 2019年没有开过的冷码 高频彩票调查 浙江20选5ac走势图 乐视体育中超直播鲁能 河北11选5开奖直播现场 广西11选5中奖助手 双色球复式计算器 即时竞彩足球比分直播 河北快三遗漏直