在我眼里robots协议就是站长行使网站安排权的执行文件，这是咱们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站以前要面对的第一道关隘，所以robots协议的重要性也是可想而知了。都说细节决定成败，那么越重要的工具细节就 […]

在我眼里robots协议就是站长行使网站安排权的执行文件，这是咱们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站以前要面对的第一道关隘，所以robots协议的重要性也是可想而知了。都说细节决定成败，那么越重要的工具细节就显得尤其重要，常常本身一不谨慎大意的一个细节到最后便可能会成您的致命一击。自己之所以会这么说，是因为我差点就成这个问题的背面课本了，还好发现的及时也算是亡羊补牢吧！之所以想立即分享给各位，就是希望大家以后本身做站的时候要防止犯相似的弊端。

事情其实就发生在今天，经过是这样的：因为小明网站优化博客也刚做好没多久，前些日子网站上线以后发现还有好多小问题需要处理，为了避免网站还在调剂的过程当中就被搜索引擎抓取到，所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令，网站的调剂一向接续了几天（之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人，不晓得这算不算逼迫症的一种），直到昨天也就是2月3号才全面竣工，但是这期间我每日都在坚持增加原创文章。昨天网站检察完成，全数问题都解决好以后，我就把robots协议重新换了过来，而且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样，到了今天早上发现网站还是无被收录，因而我就去Baidu站长工具平台看一下我的网站到底是个什麽状况，进去一看吓我一跳，因为我看到了下面一则（如图所示）信息：

我的网站竟然对Baidu进行了全面封禁，检测时间是在今天（2月4号）早上凌晨5点整的时候，这让我像丈二的和尚摸不着头脑了，太不科学了，因为我在昨天2月3号上午已把网站的robots协议更改过来了，真的是太奇特了。就在我百思不得其解的时候总算是经过站长平台工具的“robots检测”找到了答案，看下图：

原来Baidu蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议，所以当宿世效的协议也就是那时它抓取到的我把蜘蛛全数屏蔽时的那，而本站最新的robot协议还无生效。这下我总算是懂了过来了，既然弄清晰了原因那事情就好办了。因而我立即把协议提交更新了一下，如下图：

更新以后一分钟内协议就更新过来了，如下图：

可以看到，当前本站最新的robots已开始生效了，就这样到了下午，当我再次进入Baidu站长平台就收到了新讯息，如下图所示：

至此网站已解除了robots协议对Baidu的全面封禁，检测时间显示的是今全国午两点整。到了晚上也差不多就是在三个多小时以前，当我再次检察网站收录状况的时候，网站首页已被收录了。如下图：

网站终究被收录了，但让我最高兴的还是我经过本身的努力找到问题并解决了问题，这才是我今天最大的得益。当然了如果这个问题我发现不了，可能网站再过十天半个月也会毫无转机，所以我要提示大家的就是对于robots协议在封禁蜘蛛以后到后期在解封的时候一定要记得及时更新robots协议，这是一个不容被忽视的小细节。或许遵循本身的一贯知识感觉只要经过输入“http:\\域名\robots.txt看一下网站的协议改过来了无便可以了，但是经过实践证明这种方法也不是完全可靠的，所以一定要记着我这次的经验经验，robots一旦进行调剂就一定要记得及时提交更新，不然被蜘蛛抓取了不该抓的或一向把蜘蛛拒之门外耽误了本身的时间那就真的是懊悔莫及了。

温馨小提示：刚才看了一下时间，已转钟到了次日了，写这篇文章的时候是在2月4号，但是现在公布的时间已转点到2月5号了，所以文章提到的“今天”也就是2月4号，希望大家不要看胡涂了。