禁止搜索引擎抓取网站内容的方法有哪些,为何要这样做
Admin 2022-06-10 群英技术资讯 1908 次浏览
这篇文章主要讲解了“禁止搜索引擎抓取网站内容的方法有哪些,为何要这样做”,文中的讲解内容简单、清晰、详细,对大家学习或是工作可能会有一定的帮助,希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。
首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。
外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。
而内链,因为有些网站有不少重复或冗余的内容。 比如一些按条件查询的搜索结果。特别是一些B2C站,在专门查询页或在所有产品页面的某个位置内,都可以按产品类型,型号,颜色,大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便,但对搜索引擎来说,这可是耗费蜘蛛极大的抓取时间,特别是网站页面较多时。同时也会分散页面权重,对SEO不利。
另外网站管理登陆页面,备份页面,测试页面等等,也是站长不想让搜索引擎所收录的。
所以就有需要让网页的某些内容,或某些页面不被搜索引擎所收录。
下面笔者先介绍一下较为有效的几种方法:
1.在FLASH展示不想被收录的内容
众所周知,搜索引擎对FLASH的内容抓取能力有限,不能完全抓取所有FLASH内的所有内容。但遗憾的是,也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。
2.使用robos文件
这是暂时最有效的方法,但有个很大的缺点。就是不传出任何的内容及链接。大家知道,在SEO来说比较健康的页面应该是有进有出的。有外链的链入,同时也页面内也需要有链到外部网站的链接,所以robots文件控制,让此页面只进不出,搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面,测试页面等。
3.使用nofollow标签包裹不想被收录的内容
这个方法也不能完全保证不被收录,因为这并不是严格要求遵守的标签。另外,如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。
4.用Meta Noindex标签加上follow标签
这个方法可以做到防止收录而且还能传递出权重。要不要传递,看网站建设站长自己的需要。这个方法的缺点是,也是会较大的浪费蜘蛛的抓取页面时间。
5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容robots文件可以阻止iframe标签以外的内容被收录 。所以,可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。
紧接着,再说一下已经失效的方法,大家以后不要用这些方法了。
1.使用表格
谷歌和百度早已经能抓取表格用的内容了,无法阻止收录。
2.使用Javascript及Ajax技术
以现在的技术来说,Ajax和javascript现在的最终运算的结果还是以HTML的形式传给浏览器以作显示,所以这同样无法阻止收录。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
网站标题优化是站长们做SEO优化中非常关键的一个步骤,要想做好网站SEO优化离不开网站标题优化的,做好网站标题优化不仅能够提高网站关键词排名,还能够提升网站权重,增加网站流量,那么网站标题优化常见的误区有哪些呢?
在现在这个互联网时代大部分企业都做了自己公司的网站,做好网站之后也肯定遇到过自己公司的网站很久都没有被收录,也不知道该从哪里去着手让网站收录,影响网站收录的原因是什么,也只有哪些自己公司有SEO或者说跟外包公司合作了的会了解这些,那么怎样才能让一个新做的网站被收录呢?
如何做好网站内容优化?对做SEO优化的人想必都听过“内容为王”的说法,可见网站内容的重要性,但是很多人就是做不好网站内容。那么我们究竟要如何打造优质的网站内容呢?下面小编就和大家来探讨一下。
很多SEO的站长应该都遇到过更新的内容不被收录,收录一直在下降这个问题,其实我们也都知道没有网页内容收录,网站关键词排名会很难上去,甚至是做好几个月排名都没有动静的。那么网站收录一直在减少我们站长应该怎么做呢?如何才能提高网站收录?
网站在建立之初就要加入网站优化的内容,网站建成之后,需要及时拓展知名度,从而发挥其正向作用,网站推广优化的目的在于,促使搜索引擎高效收录,以增加企业和产品的总曝光率,从页提高企业及产品的知名度。那么如何做好网站推广优化?
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前:400-678-4567
7x24小时售后:0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话:010-58813000
服务邮箱:service@cnnic.cn
投诉与建议:0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准(ICP备案)粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008