交流一下Robots的作用和常见的问题

  首先在这里鳌述一下Robots的作用,它可以用来干什么。Robots是网站和搜索引擎之间的一个协议。用来防止搜索引擎抓取那些我们不想被搜索引擎索引的内容。我们可以用它来保护一些隐私的内容,屏蔽死链接和无内容页面和重复页面。

  这个协议对所有的搜索引擎对有效,它不是一个命令,而是一个指令,它不会马上生效,短的几天就可以生效,时间长的4周以上才能生效。谷歌相对于百度来说,生效时间较快一些;常见语法的定义:User-agent:定义搜索引擎。如果想定义所有搜索引擎请用*;Disallow:禁止搜索引擎抓取,“/”表示根目录,代表网站的所有目录。Allow: 是允许的意思,这里只简单的做一下描述,具体的操作写法请参考百度文库;下面来谈一下常见的问题和用法。

  一,屏蔽死链接

  死链接是网站不能避免的难题,如果被搜索引擎收录了,这样的死链接势必会影响用户体验,这个时候就需要对这个页面进行robots屏蔽。常见的几种错误如下:

  1,站内错误,网站的操作人员出现误操作或者删除某些具体页面。

  2,程序错误,因为网站改版,更换程序造成的死链接。

  3,外链引起的死链接,通常是由于输入错误而导致形成你网站的死链接。

  二,屏蔽无内容页面和重复页面

  1,无内容页面和重复页面会严重影响站内页面的质量,如果站内存在大量的这种无意义和重复的页面就会造成网站的降权;比如一些注册页面,登陆页面,会话ID,加载页面,商城的购物蓝页面,这些都要进行屏蔽。

  2,屏蔽多路径的同一个页面,很多网站的首页都会存在这样一个问题,举例说明一下,当阳热线:www.***.net,这个网址是常用的登录方式,因为程序和路径不统一的原因,造成首页有二个路径都被收录,www.***.net/index.php,类似这样的,我们就要给网站统一一个标准的入口,直接用robots进行屏蔽操作。

  SEO本来就是一个积累的过程,以上的几点,希望对新手站长朋友对网站进行优化有所帮助,上面没有详细说明Robots的具体写法,具体写法可以查看百度Robots优化指南;这里只对它的作用和用途进行了说明,希望可以查缺补漏吧。感谢www.444100.net站长投稿!

转载请注明:代码家园 » 交流一下Robots的作用和常见的问题

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)