突破搜索引擎robots.txt限制，让搜索引擎给你的网站做外链

备注：本文方法或已经失效，分享本文旨在帮助大家更了解黑帽，并非鼓励大家使用黑帽的方式来进行网站优化，不仅伤害用户也为互联网带来了更多污染。

我们知道搜索引擎的产品线很长，多个产品之间总不可能完全完美地配合，因此在robots.txt的限制收录那里就产生了一个可以被利用的漏洞。

原理分析(以搜狗为例)

我们可以看到搜狗的robots.txt文件内容为：

User-agent: Sogou web spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou inst spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou spider2
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou blog
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou News Spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sogou Orion spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: JikeSpider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Sosospider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Googlebot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: MSNBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Baiduspider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: 360spider
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: Baiduspider-image
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: YoudaoBot
Disallow: /sogou?
Disallow: /web?
Disallow: /sohu?
Disallow: /quan?
Disallow: /sgtest?
Disallow: /se?
Disallow: /gzh?
Disallow: /gzhwap?
Disallow: /weixin?
Disallow: /weixinwap?
Disallow: /websearch.do
Disallow: /websearch/websearch.do
Disallow: /zhishi/searchlist.jsp
Disallow: /express/sq.jsp

User-agent: *
Disallow: /

很显然，搜狗针对各个搜索引擎，对搜索结果页面进行了屏蔽处理。其中/sogou?、/web?等路径均是结果页面的路径，那么，会不会有这样一种情况？搜狗存在其他的搜索结果页面路径，但是在robots.txt中却没有申明屏蔽？为了验证这一猜想，我们到百度中搜索搜狗。

我们可以看到其中/sie?、/sgo?均为搜狗搜索结果页面的路径，但是在robots.txt文件中却没有被申明屏蔽！即是说这样路径的页面时允许被搜索引擎收录，如果这样的页面的搜索结果全部都是自己的网站呢？那么就实现了让搜索引擎给自己网站做外链的效果！

那么问题来了？如果让搜索结果全部都是自己的站点呢？很自然地就会想到站内搜索！具体寻找站内搜索参数的方式请自行搜索相关资料，此处直接说明结果：搜狗的站内搜索参数为insite，那么组装成这样一个网址：

http://www.sogou.com/sgo?query=SEO&insite=meeaxu.com

这个网址时可被收录的、这个页面的所有搜索结果均是指定网站的，将类似的网址在互联网上进行传播，蜘蛛爬行到之后最终会入库建立索引，最后达到了我们的目的：让搜索引擎给自己的网站链接。

写在最后

这种方法的时效性不高，很多人都使用之后就会被修复。之所以要将原理清楚地描述出来，是为了描述黑帽方法的发现过程。黑帽并不是简单地做什么站群、群发外链什么的，更多的是利用搜索引擎本身的漏洞来进行优化。本文仅仅是示例了一个非常简单的黑帽方法发现过程，更多大神都非常低调，其发现的方法也并未在互联网上传播。本文仅仅是为了让大家更了解黑帽，并非鼓励大家使用黑帽的方式来进行网站优化，不仅伤害用户也为互联网带来了更多污染。我希望大家更多地去考虑用户体验，去配合搜索引擎，同样能够达到最终目的。