有什么方法可以屏蔽搜索引擎蜘蛛，禁止被收录-群英

上一篇：网站的用户体验影响因素有什么，有什么提升技巧下一篇：网站SEO怎样做外链，有哪些细节要关注

这篇文章主要介绍“有什么方法可以屏蔽搜索引擎蜘蛛，禁止被收录”，有一些人在有什么方法可以屏蔽搜索引擎蜘蛛，禁止被收录的问题上存在疑惑，接下来小编就给大家来介绍一下相关的内容，希望对大家解答有帮助，有这个方面学习需要的朋友就继续往下看吧。

拒绝搜索引擎收录网站的方法：可以在head标签中添加内容【<meta name="robots" content="noarchive">】，禁止搜索引擎抓取网站并显示网页快照。

一个新的网站建好之后，只要搜索引擎蜘蛛抓取到的、网站内容不是很差劲那么搜索引擎就很有可能收录我们的网站，如果因为某种原因不想让搜索引擎收录网站，那要如何操作？下面本篇文章就来给大家讲解一下。

方法一：设置 robots.txt 方法

可以利用设置robots.txt来屏蔽搜索引擎蜘蛛，那么什么是robots.txt？

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

如何使用robots.txt屏蔽搜索引擎蜘蛛？

搜索引擎默认的遵守 robots.txt 协议，创建 robots.txt 文本文件放至网站根目录下，编辑代码如下:

User-agent: *
Disallow: /

通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。

如果只想禁止百度收录全站，可以编辑如下代码：

User-agent: Baiduspider
Disallow: /

如果只想禁止Google收录全站，可以编辑如下代码：

User-agent: Googlebot
Disallow: /

方式二：设置网页代码方法

在网站首页代码<head>与</head>之间，加入如下代码，即可禁止搜索引擎抓取网站并显示网页快照。

<meta name="robots" content="noarchive">

在网站首页代码<head>与</head>之间，加入如下代码，即可禁止百度搜索引擎抓取网站并显示网页快照。

<meta name="Baiduspider" content="noarchive">

在网站首页代码<head>与</head>之间，加入如下代码，即可禁止谷歌搜索引擎抓取网站并显示网页快照。

<meta name="googlebot" content="noarchive">

这篇关于“有什么方法可以屏蔽搜索引擎蜘蛛，禁止被收录”的文章就介绍到这了,更多相关的内容，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！

标签：屏蔽搜索引擎蜘蛛

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

上一篇：网站的用户体验影响因素有什么，有什么提升技巧下一篇：网站SEO怎样做外链，有哪些细节要关注