搜索引擎其诞生的重要意义就是在日益浩瀚的互联网资料中为用户提供便捷的查询服务，其本质的要求就是查的快、全、准、稳，在节约人们查询时间的同时提供最权威的服务。一般搜索引擎在给予网站排名时可以简单的归为下载、分析、索引和检索，很多 seoer在从事网站建设时都想摸透网站排名的规则，从而获得更好的排名。从目前市场上各种seo培训机构、交流群、论坛等就可以看出，大家都在不懈余力通过搜索引擎的各种现象来论证新的观点，从而在未来的seo优化中获得更好的发展。
龙形近日在优化公司的新网站时，意外的发现一个想象，那就是百度蜘蛛抓取网站和检索时会有一定的时间差。很多seoer在网站上线初期由于各种原因都会设置robots，从而更好的指导搜索引擎抓取网站内容，龙形新网站主要是关于农药残留检测仪等农业速测仪器的网站，在上线初期由于需要完善一些样式和程序，所以就通过robots完全屏蔽了所以蜘蛛对网站内容的抓取。在12月9号网站调试完毕去除robots后历经一周查看收录情况，谷歌和 360都有收录，尤其是谷歌已经收录47条内容，而百度收录一直为0。
龙形开始反思是不是自己的优化触犯了百度抓取规则，想想自己在网站上线之初就更新了不少内容，而后每天都会定时的更新2篇原创文章，同时做一些高质量的外部链接。因此，在内容上龙形的这个有关农药残留检测仪的网站绝对的没有问题，进而检测网站的程序有无漏洞，网站有没有死链接，网站的服务器等是否稳定，有没有遭受木马或者攻击，网站能否被蜘蛛正常索引等，通过影响力的检测发现网站还是没有大的问题。那到底是哪个方面出现了差错，一时之间让龙形这个已有2年优化历史的seoer突然感觉束手无策，无法找到问题的关键所在。
就在龙形感觉到无奈决定等待时，突然想到了百度站长工具，于是就赶紧验证下后台，看看能否从中发现问题所在。16号龙形打开百度站长工具时发现百度发来的消息提醒，打开后才发现是我的这个农药残留检测仪网站设置了robots，百度无法抓取我的网站，按说不应该出现这种情况，网站的robots在9号就已经删除了，为什么百度还是发出这样的提醒，难得是数据库出现了错误?龙形进一步的通过百度站长平台的robots工具检测有关农药残留检测仪这个网站的情况，检测结果明确的指出：您的网站没有robots.txt文件，表示您允许搜索引擎可以抓取您网站全部的内容
