有什么方法可以屏蔽搜索引擎蜘蛛,禁止被收录
Admin 2022-08-22 群英技术资讯 1649 次浏览
这篇文章主要介绍“有什么方法可以屏蔽搜索引擎蜘蛛,禁止被收录”,有一些人在有什么方法可以屏蔽搜索引擎蜘蛛,禁止被收录的问题上存在疑惑,接下来小编就给大家来介绍一下相关的内容,希望对大家解答有帮助,有这个方面学习需要的朋友就继续往下看吧。拒绝搜索引擎收录网站的方法:可以在head标签中添加内容【<meta name="robots" content="noarchive">】,禁止搜索引擎抓取网站并显示网页快照。
一个新的网站建好之后,只要搜索引擎蜘蛛抓取到的、网站内容不是很差劲那么搜索引擎就很有可能收录我们的网站,如果因为某种原因不想让搜索引擎收录网站,那要如何操作?下面本篇文章就来给大家讲解一下。
方法一:设置 robots.txt 方法
可以利用设置robots.txt来屏蔽搜索引擎蜘蛛,那么什么是robots.txt?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
如何使用robots.txt屏蔽搜索引擎蜘蛛?
搜索引擎默认的遵守 robots.txt 协议,创建 robots.txt 文本文件放至网站根目录下,编辑代码如下:
User-agent: * Disallow: /
通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。
如果只想禁止百度收录全站,可以编辑如下代码:
User-agent: Baiduspider Disallow: /
如果只想禁止Google收录全站,可以编辑如下代码:
User-agent: Googlebot Disallow: /
方式二:设置网页代码方法
在网站首页代码<head>与</head>之间,加入如下代码,即可禁止搜索引擎抓取网站并显示网页快照。
<meta name="robots" content="noarchive">
在网站首页代码<head>与</head>之间,加入如下代码,即可禁止百度搜索引擎抓取网站并显示网页快照。
<meta name="Baiduspider" content="noarchive">
在网站首页代码<head>与</head>之间,加入如下代码,即可禁止谷歌搜索引擎抓取网站并显示网页快照。
<meta name="googlebot" content="noarchive">
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
网站导航优化是网站结构优化很重要的一部分,做好导航优化对于提高用户体验是有作用的,但是很多不了解怎么样对导航设计优化,下面小编就和大家说说。
百度搜索推广的关键词工具是一个很强大的工具,下面小编就为大家介绍教你在搜索推广中如何选准关键词,只需三步,来看看吧
我们大家都知道营销型网站是为实现某种特定的营销目标,能将营销的思想、方法和技巧融入到网站策划、设计与制作中的网站。随着社会以及互联网的不断发展,越来越多的企业选择了营销型网站,来提高线上的转化率
在网站SEO优化中,收录是至关重要的,要想提高网站关键词排名首先要有收录,有了收录网站才能够有一个好的排名,在我们做网站SEO优化的过程中经常会碰到网站页面不收录,那么怎样才能让没有收录的网站页面重新收录呢?
百度搜索引擎是怎么抓去页面的?搜索引擎为用户展现的每一条搜索结果,都对应着互联网上的一个页面。这个页面产生需要通过抓取、过滤、建立索引和输出结果,这就代表网页被收了了,详细的教程请看下文介绍
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前:400-678-4567
7x24小时售后:0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话:010-58813000
服务邮箱:service@cnnic.cn
投诉与建议:0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准(ICP备案)粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008