SEO人员你真的懂robots 技巧吗？

　　robots和网站的排名没直接关系，但它对网站SEO却有着至关重要的作用。

　　一.关于robots技巧，首先要了解robots的作用。

　　(1)robots 的基本概念，它是网站和搜索引擎之间的协议，搜索引擎蜘蛛爬到一个网站首先经过robots 允许或禁止发现我们的网站，robots 是一个指令，它可能不会及时生效，搜索引擎也可遵循和可以不按照指令进行工作。

　　(2)robotsr的用途：网站的隐私的页面不会检索，从而保护网站的文章不被抓取，

　　(3)robots的作用， 1.屏蔽死链接，死链接不屏蔽的话影响用户体验，要尽量减少死链接。

　　(4)屏蔽重复页面及无内容页面，网站的内容没有价值，不参与排名。网站重复页面多反而会降权。登陆页和注册页往往没有价值，仅仅是登陆或导航，这都没价值，这些都可以轻松使用robots来解决问题。

　　(5)屏蔽有多个路径的同一个页面。多个路径指向同一个页面，解决办法：1.不给予链接入口。2.使用robots进行屏蔽

　　二.常见形成死链接的主要原因。

　　(1)站内的优化操作，URL链接的变动，死链接可以交给百度，让百度自动给删除。

　　(2)程序的错误，更改程序，导致产生大量的死链接，也可以robots屏蔽

　　(3)由于外链引起的，错误的链接，可以robots屏蔽

　　三.如何查找网站的死链接

　　(1)通过日志进行分析网站的死链接，出现404 可能出现死链接。

　　(2)谷歌管理员工具，百度也一直模仿，但始终没有超越。

　　(3)爱站工具也可以进行查询，查出死链接呈交给百度让其自动删除。

　　四.怎样合理的使用robots进行屏蔽这一优化技巧。

　　(1)了解robots常用符号：User-agent:定义搜索引擎的一个类型。Disallow: 定义禁止搜索引擎收录的地址。Allow: 允许搜索引擎收录的地址。*:匹配0或多个任意字符。$: 匹配行结束符它主要用在网站的结尾处。

　　(2)User-agent: Baiduspider为定义百度蜘蛛，谷歌机器人：Googlebot，微软bing的蜘蛛：msnbot， 雅虎的蜘蛛：Mozilla ，soso的蜘蛛：sosospider。 如下案例：

　　User-agent: Baiduspider  Disallow: /  User-agent: baiduspider  Disallow: /

　　以上为禁止百度蜘蛛进行抓取。

　　(3)Disallow: 定义禁止搜索引擎收录的地址。其上面的斜杠代表网站的根目录，若屏蔽这一网站www.80sell.com/wz/default.html，其写法如下：

　　Useo-agent: *　　Disallow: /wz/default.html　　

       (4)Allow的出现往往都是和Disallow 一起使用的,如想禁止www.80sell.com/wz这个目录，而又想允许这一根目录下的default.html，写法如下：

　　User-agent: *

　　Allow: /wz/default.html　　Disallow: /wz/

　　含义：禁止抓取网站的bc目录，但允许抓取bc下的default.html

　　(5)* : 匹配零或者多个任意字符。robots.txt代码更加精简，不用写用太多。他们又有相同的规律，*号来进行统一屏蔽，如该个网站

　　www.glba.com/basodm?36A=1

　　www.glba.com/basodm?37A=4

　　www.glba.com/basodm?40A=5

　　www.glba.com/basodm?33A=7

　　根据规律?前都没有任何改变，其后还有= ，其屏蔽的格式为：

　　Useo-agnet: *

　　Disallow: /basodm?*A=*

　　(6)$ : 是结束符，如禁止Baiduspider抓取网站上所有jpg图片，其写法为

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　五.语法的使用注意事项

　　(1)Disallow: / 冒号后面正规写法应该加空格，虽不加也能生效。

　　(2)User-agent: Baiduspider Disallow: 第一个单词要大写，

　　(3)/ 单一的斜杠代表根目录

　　(4)双斜杠代表目录Useo-agnet: * Disallow: /basodm/

　　(5)单一的斜杠和双斜杠的区别，Disallow: /seo/禁止搜索引擎抓取该网站的 SEO目录 。

　　Disallow: /seo表示不但禁止搜索引擎抓取该网站的 SEO目录， 还能够禁止所有以SEO开头的目录名和文件名。

　　(6)robots.txt 写法匹配参照表

　　(7)可在后台管理，开启分页标题

打赏

微信扫一扫，打赏作者吧～

来源：大师哥博客，欢迎分享本文，转载请保留出处！