51.com的robots.txt有错吗？_SEO优化教程

推荐：SEO优化之“不要轻易使用泛解析”
半夜三更的忽然想起这个老想提出或者大家都知道的问题！先续在这里，之后给予全面补充！什么是泛解析：严格来讲，是这样的：假如对abc.com解释到0.0.0.0

什么是robots.txt文件?

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

因为刚写了51是因为二级玉米泛滥和站点垃圾造成被封，去看见“眼镜蛇”写的是因为51的robots.txt的原因。

我仔细看了51的robots.txt而最后要驳反“眼镜蛇”的判定和定论！

每个站点都必须要有robots.txt吗？

不一定，看情况

那么robots.txt是针对任何搜索引擎吗？

不一定，搜索引擎的概念是什么先搞明白！至少他有蜘蛛，并且遵循robots.txt语法。像百度，google,yahoo都遵循
官方的robots.txt

robots.txt放在哪里？

根目录下，就是通过 http://www.abc.com/robots.txt等浏览访问到的！

robots.txt怎么写？

请查询：http://www.robotstxt.org/

因为眼镜蛇说百度杀了51是因为51的robots.txt

“51.com搜索消失原因是公司想借机炒作？”

（联系到五一国庆左右百度大规模检查并封杀作弊网站，开始让业界以为51.com是百度惩罚的网站之一，
通过某朋友提示到51.com的robots.txt文件，让大家明白了百度网站只收录一页的原因，
并不是搜索引擎人为所至，而是51.com自身原因。 ）

郁闷一：五一成“国庆”了！

郁闷二：robots.txt写法遵循规则，搜索引擎也给予遵循！那么就是眼镜蛇以上文章的判定错误！不是51的robots.txt错误！

分析反驳：

因为51的主页都在home下或者这个二级玉米下，那么就这个来说！

1：http://www.51.com/robots.txt 18行

Disallow: /home/ （假设只针对百度，因为google 没把51怎么着，而之后分析则套用google的一些现象对比百度，除非他们不是一样性质的遵循robots.txt的搜索引擎！）

百度给出的定义：

"Disallow:/help/"则答应robot访问/help.html，而不能访问/help/index.html

http://www.baidu.com/search/robots.html

那么就是说在http://www.51.com/home/index.htm/index.html/index.shtml不能被收录，因为home目录下无主页！

http://www.51.com/home/index.htm 404错误
http://www.51.com/home/index.html 404错误
http://www.51.com/home/index.shtml 404错误
http://www.51.com/home/index.php 404错误
http://www.51.com/home/ 404错误

分享：优化思路：搜索引擎算法之复制网页
搜索引擎判定复制网页一般都基于这么一个思想：为每个网页计算出一组信息指纹（Fingerprint），若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容