Robots生效的过程是怎样的,需要多长时间
Admin 2022-08-13 群英技术资讯 546 次浏览
有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?
百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程:
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去投诉。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
网站重复内容指的是同个域名出现相同重复内容,或完全与其他网站出现的内容一样,在站长们做网站SEO优化的过程中,或多或少的会看到一些重复内容,虽然说重复性的内容不会受到搜索引擎大的处罚,但是非常影响用户体验的
众所周知,网站在搜索引擎中获得排名是极其重要的一个事,当网站有了排名,我们的产品就能让用户看到,这样才能让流量变现。今天就来说说SEO七大方法。
在文章中体现seo效果的方法:1、在写文章的时候添加大量长尾词;2、关键词在标题title上的布局;3、关键词在描述标签desciption的布局。
所谓伪原创就是把一篇文章进行再加工,使其让搜索引擎认为是一篇原创文章,从而提高网站权重。那么如何让你的伪原创成为搜素引擎青睐内容?下面我们来看看吧
网站早已经成为了企业在互联网中,最重要的推广宣传方式之一了。 这是因为使用互联网的用户越来越多,当用户想要了解一些问题的时候,就会在互联网中查找答案。
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008