RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:9:30-18:00
你可能遇到了下面的问题
深圳建网站公司

技术支持

robots协议最容易大意却很致命的小细节
  • 作者:羽灵鸟网络
  • 发表时间:2021-10-28 10:00
  • 来源:网络整理
所在位置:羽灵鸟深圳建站公司羽灵鸟首页 > 技术支持 > 推广优化 > robots协议最容易大意却很致命的小细节

在我眼里robots协议就是站长行使网站安排权的执行文件,这是咱们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站以前要面对的第一道关隘,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的工具细节就 […]

在我眼里robots协议就是站长行使网站安排权的执行文件,这是咱们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站以前要面对的第一道关隘,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的工具细节就显得尤其重要,常常本身一不谨慎大意的一个细节到最后便可能会成您的致命一击。自己之所以会这么说,是因为我差点就成这个问题的背面课本了,还好发现的及时也算是亡羊补牢吧!之所以想立即分享给各位,就是希望大家以后本身做站的时候要防止犯相似的弊端。

事情其实就发生在今天,经过是这样的:因为小明网站优化博客也刚做好没多久,前些日子网站上线以后发现还有好多小问题需要处理,为了避免网站还在调剂的过程当中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调剂一向接续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不晓得这算不算逼迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间我每日都在坚持增加原创文章。昨天网站检察完成,全数问题都解决好以后,我就把robots协议重新换了过来,而且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是无被收录,因而我就去Baidu站长工具平台看一下我的网站到底是个什麽状况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:


我的网站竟然对Baidu进行了全面封禁,检测时间是在今天(2月4号)早上凌晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,因为我在昨天2月3号上午已把网站的robots协议更改过来了,真的是太奇特了。就在我百思不得其解的时候总算是经过站长平台工具的“robots检测”找到了答案,看下图:


原来Baidu蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,所以当宿世效的协议也就是那时它抓取到的我把蜘蛛全数屏蔽时的那,而本站最新的robot协议还无生效。这下我总算是懂了过来了,既然弄清晰了原因那事情就好办了。因而我立即把协议提交更新了一下,如下图:


更新以后一分钟内协议就更新过来了,如下图:


可以看到,当前本站最新的robots已开始生效了,就这样到了下午,当我再次进入Baidu站长平台就收到了新讯息,如下图所示:


至此网站已解除了robots协议对Baidu的全面封禁,检测时间显示的是今全国午两点整。到了晚上也差不多就是在三个多小时以前,当我再次检察网站收录状况的时候,网站首页已被收录了。如下图:


网站终究被收录了,但让我最高兴的还是我经过本身的努力找到问题并解决了问题,这才是我今天最大的得益。当然了如果这个问题我发现不了,可能网站再过十天半个月也会毫无转机,所以我要提示大家的就是对于robots协议在封禁蜘蛛以后到后期在解封的时候一定要记得及时更新robots协议,这是一个不容被忽视的小细节。或许遵循本身的一贯知识感觉只要经过输入“http:\\域名\robots.txt看一下网站的协议改过来了无便可以了,但是经过实践证明这种方法也不是完全可靠的,所以一定要记着我这次的经验经验,robots一旦进行调剂就一定要记得及时提交更新,不然被蜘蛛抓取了不该抓的或一向把蜘蛛拒之门外耽误了本身的时间那就真的是懊悔莫及了。


温馨小提示:刚才看了一下时间,已转钟到了次日了,写这篇文章的时候是在2月4号,但是现在公布的时间已转点到2月5号了,所以文章提到的“今天”也就是2月4号,希望大家不要看胡涂了。

本站声明:此篇文章由深圳市羽灵鸟网络技术有限公司网站优化技术人员从网络搜集、整理、发布,如有问题,请联系本公司予以删除,特此声明,谢谢合作!


羽灵鸟品牌简介


深圳市羽灵鸟网络技术有限公司是一家专注于高端网站建设、网站品牌策划、网络营销推广一体的互联网公司。团队骨干有着丰富的网站建设经验、10多年的网站优化经验,致力于为客户提供更符合搜索引擎收录的网站开发服务,并提供域名、空间、企业邮箱等互联网基础产品业务。我们将客户所在的行业与网络技术完美结合,让客户可以在瞬息万变的互联网领域获得更强的竞争力。

我们以诚信务实的创作态度,使其成为网站建设行业最具成长性、独具国际视野的知名品牌。

我们深信口碑传播的力量,在为客户打造的每一个网站时都希望尽善尽美,成为羽灵鸟网络的一个又一个金字招牌,也为客户最大发挥传播的力量!

我们的品牌文化:为企业省成本,为品牌创价值!

如有需求,请踊跃与我们联系,我们将为您提供高性价比的完善、优质的服务!


上一篇:怎么样发外链不会被删
下一篇:分分钟找出网站不收录的祸首祸首

文章推荐:

从我刚进去网站优化这个行列到现在,见过一些学了一些本领就去面试企业网站优化er岗位的人,听起来井井有条,但交谈中他们描述的网站优化技术等相干知识,在网络搜可以搜到您天昏地暗。而作为一名网站优化er,确切,前期我感觉技术是高大上的 [] 从我刚进去网站优化这个行列到现在,见过一些学了一些本领就去面试企业网站优化er岗位的人,听起来井井有条,但交谈中他们描述的网站优化技术等相干知识,在网络搜可以搜到您天昏地暗。而作为一名网站优化...

网络上有大量的网站,每日也有不计其数个新网站出世,做一个网站不难,但网站是为了解决消费者的需求,需要看重适用性和可用性,所以 网站建设 不能呈现以下几类弊端。 1、无搜索框。网站就像一个信息档案,不管是企业网站还是博客,搜索框都是必不可少的,搜索框能更便利让访客得到他们想要的工具。 2、可读性差。网站设计的主要因素是浏览要舒服,良好的界面设计才能吸引消费者的注意力,消费者浏览文本掌握他们想要的信息,有些网站使用奇特的字...

又到了深夜,又到了这个时间,又到了我坐在电脑前面写文章的时候。心情很糟,可又不得不整理好混乱的心绪用心写好文章。说真的,这几天真的很累,不是因为身体的劳累,而是在于内心的怠倦。我晓得,做个人博客的站长们都不易,可能大 [] 又到了深夜,又到了这个时间,又到了我坐在电脑前面写文章的时候。心情很糟,可又不得不整理好混乱的心绪用心写好文章。说真的,这几天真的很累,不是因为身体的劳累,而是在于内心的怠倦。我晓得,做个人博客的...