Robots生效的过程是怎样的,需要多长时间
Admin 2022-08-13 群英技术资讯 497 次浏览
有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?
百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程:
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去投诉。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
想必很多站长应该都有遇到过网站被降权的情况,而网站被降权对于网站排名和转化等等来说,都是有很大影响的,因此了解网站被降权的原因,避开这些因素是很有必要的,下面我们就来看看会导致网站被降权的六个因素。
Seo推广其实可以拆分为seo和推广两个关键词,它是利用seo方法、思维来做推广的一种网络营销方式,核心是推广;它是由网站优化网络运营媒体宣传结合的一种技术。
网站降权的解决方法是:1、定时定点更新内容,并持续增加数量;2、外链的平台要多样性;3、避免网站中出现过多的重复内容;4、保证网站健康、安全、合乎法律法规。
优化企业网站需要留意哪些问题?相信这个问题对于很多朋友都应该需要知道的,所以下面小编就为大家介绍网站建设10大策划技巧,有需要的朋友快快来学习吧
关键词的排名在网站优化中占据重要的地位。所以将关键词排名优化到首页,是每一个人优化网站最终目标,与此同时,也出现了大量的网站关键词优化工具,这些工具鱼龙混杂,有的或许并不适合用来优化。所以我们在使用工具的时候,也要注意这些工具为我们网站带来的利与弊。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008