robots.txt文件、robots meta标签和 nofollow属性-付晓聪网络营销博客

robots.txt文件、robots meta标签和 nofollow属性

时间: 2011-05-29 人气: 1,617 Views 10个评论发表评论

对这三个总是模模糊糊的，不是很清楚，今天把这三大蜘蛛协议搞明白：

1、robots.txt文件协议: 指导搜索蜘蛛爬行，禁止蜘蛛抓取无价值的网页，让蜘蛛轻松抓取Baiduspider遵守互联网robots协议。用robots.txt来指导搜索蜘蛛爬行。robots.txt文件就是用来告诉搜索蜘蛛对于一个网站的页面，哪些可以爬取收录，哪些不可以。不需要给百度收录的页面不要给百度爬，让百度爬虫轻松点，况且百度抓取你网页也会占用你的服务器宽带。

robots.txt文件放置在网站根目录下。可把网站地图sitemap.xml链接写入robots.txt

当spider访问一个网站，首先会检查该网站中是否存在robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。如果你没有Robots.txt文件，那么当搜索蜘蛛抓取Robots.txt文件的时候，你的服务器会自动反馈404错误。所以，如果你不想使用Robots.txt来引导搜索蜘蛛，你也最好上传一个空白文件作为你的Robots.txt。

2、robots meta 标签协议（元标志）： 某些特殊网页需求，是否收录该网页是否跟踪该页面的链接（关于页、广告链接页、垃圾留言链接）

写在网页的<head>部分里。

the robots meta tag中可使用的指令有：多个指令用“,”分隔。索引即快照收录

Index（可以索引本页）和noindex,（不可以索引本页）

follow（跟踪本页链接）和 nofollow（不可以跟踪本页链接）

All=Index,follow（表示可以索引本页，且可跟踪该页链接）和None=noindex,nofollow（表示不允许索引本页，且不跟踪该页链接）

3、nofollow属性：对于某些单个无价值的链接需求

<a href=”signin.php” rel=”nofollow”>sign in</a> 不跟踪某条特定链接

不跟踪无价值的链接（关于简介页、广告链接、垃圾留言链接），不分散网页权重，提高网站权重。比如：联系我们、关于我们、隐私保护、公司简介等的链接可以把它们nofollow 掉，这样首页的PR值就不会传输给他们。因为，他们有太多的PR值显然没用。

上一篇: 如何成功经营好一个网店

下一篇: 供应商、分销商、代销商与经销商的区别及联系

10个评论

欧莱雅多重防护隔离露
2011/05/31 09:34:43

不错，学习了，北海师兄SEO就是牛！
甲沟炎
2011/05/31 12:34:44

呵呵，对这方面还是比较了解，
北海网络营销
2011/05/31 13:16:46

你又做新站啦！
甲沟炎
2011/05/31 14:23:50

手上的站本来就比较多
北海网络营销
2011/05/31 14:35:37

你又做新站啦！回复到下面去了。悲剧
南通seo
2011/06/01 12:39:12

我是来学习的同意不
付晓聪
2011/06/01 21:36:00

欢迎，哈哈
海外seo
2011/06/08 17:36:02

robots.txt这个很重要….
癫痫病全国十佳医院
2011/06/13 18:05:14

写得不错，来学习下~~~
拼购
2011/06/25 16:27:35

谢谢分享又学习了嘿嘿都很重要

付晓聪网络营销博客