这是需要理解的重要一点。使用错误的方法不仅有时会导致页面没有按预期从索引中删除，而且还会对SEO产生负面影响。
为了帮助您快速决定哪种移除方法最适合您，我们制作了一个流程图，以便您可以跳到本文的相关部分。
在这篇文章中，你将学到：
如何检查URL是否被索引
从谷歌中删除url的五种方法
如何确定移除的优先级
常见的拔除错误要避免
如何删除不在你网站上的内容
如何删除图像
技术SEO新手？看看我们的技术SEO初学者指南
如何检查URL是否被索引
我通常看到的seo检查内容是否被索引的方法是使用一个站点：在bb0中搜索（例如，站点：https://ahrefs.com）。虽然网站搜索对于识别在搜索结果中可能出现问题的网页或网站部分很有用，但您必须小心，因为它们不是正常的查询，并且实际上不会告诉您页面是否被索引。它们可能会显示b谷歌已知的页面，但这并不意味着它们有资格在没有站点：操作符的情况下显示在正常的搜索结果中。
例如，site：搜索仍然可以显示重定向或规范化到另一个页面的页面。当您请求特定的站点时，谷歌可能会显示来自该域的页面，其中包含来自另一个域的内容、标题和描述。以moz.com为例，它曾经是seomoz.org。任何常规用户查询到moz.com的页面都会在serp中显示moz.com，而site:seomoz.org会在搜索结果中显示seomoz.org，如下图所示。
这是一个重要的区别，因为它会导致seo犯错误，比如主动阻止或删除旧域名索引中的url，这会阻止像PageRank这样的信号的整合。我见过很多域名迁移的案例，人们认为他们在迁移过程中犯了一个错误，因为这些页面仍然显示为site:old-domain.com搜索，并在试图“修复”问题时积极地损害他们的网站。
检查索引的更好方法是使用谷歌搜索控制台中的索引覆盖报告，或者使用URL检查工具检查单个URL。这些工具告诉您页面是否被索引，并提供关于谷歌如何处理该页面的附加信息。如果您没有访问权限，只需在谷歌中搜索您的页面的完整URL。
在SEO研究院，如果你在我们的“热门页面”报告或有机关键词排名中找到了该页面，这通常意味着我们看到了它在正常搜索查询中的排名，这是一个很好的迹象，表明该页面被索引了。请注意，当我们看到这些页面时，它们是被索引的，但这可能已经改变了。检查我们最后一次看到查询页面的日期。
如果某个URL存在问题，需要从索引中删除，请按照文章开头的流程图找到正确的删除选项，然后跳转到下面的适当部分。
删除选项1：删除内容
如果您删除该页面并提供404（未找到）或410（已删除）状态码，那么在重新抓取页面后不久，该页面将从索引中删除。在删除之前，该页面可能仍会显示在搜索结果中。即使页面本身不再可用，页面的缓存版本也可能暂时可用。
当你可能需要一个不同的选择时：
我需要更多的立即移除。请参阅URL删除工具部分。
我需要整合链接之类的信号。请参阅规范化部分。
我需要这个页面可供用户使用。看看noindex或限制访问部分是否适合您的情况。
移除选项2：无索引
noindex meta robots标记或x-robots标头响应将告诉搜索引擎从索引中删除页面。meta robots标记适用于页面，而x-robots响应适用于页面和其他文件类型（如pdf）。要想看到这些标签，搜索引擎需要能够抓取页面——所以要确保它们没有被robots.txt阻止。另外，请注意，从索引中删除页面可能会阻止链接和其他信号的整合。
meta robots noindex的例子：
标头响应中x-robots noindex标签的示例：
HTTP/1.1 200 OK
X-Robots-Tag: noindex
当你可能需要一个不同的选择时：
我不希望用户访问这些页面。请参阅限制访问部分。
我需要整合链接之类的信号。请参阅规范化部分。
移除选项3：限制访问
如果你想让页面对某些用户可访问，而不是搜索引擎，那么你可能想要的是以下三个选项之一：
某种登录系统；
HTTP身份验证（访问需要密码）；
IP白名单（只允许特定IP地址访问页面）
这种类型的设置最适合内部网络、仅限成员的内容，或者用于暂存、测试或开发站点。它允许一组用户访问页面，但搜索引擎将无法访问它们，也不会索引页面。
当你可能需要一个不同的选择时：
我需要更多的立即移除。请参阅URL删除工具部分。在这种特殊情况下，如果您试图隐藏的内容已经被缓存，并且需要阻止用户看到该内容，那么您可能希望立即删除该内容。
移除选项4:URL移除工具
这个来自谷歌的工具的名字有点误导人，因为它的工作方式是暂时隐藏内容。谷歌仍然会看到并抓取这些内容，但是这些页面不会显示给用户。这种暂时的效果在b谷歌中可以持续6个月，而Bing有一个类似的工具可以持续3个月。这些工具应该在最极端的情况下使用，比如安全问题、数据泄露、个人身份信息（PII）等。对于b谷歌，请使用删除工具，对于Bing，请参阅如何阻止url。
您仍然需要在使用删除工具的同时应用另一种方法，以便实际删除更长时间的页面（不索引或删除），或者如果用户仍然拥有链接，则阻止他们访问内容（删除或限制访问）。这只是为您提供了一种更快的方式来隐藏页面，同时删除有时间进行处理。该请求可能需要一天的时间来处理。
移除选项5：规范化
当您有一个页面的多个版本，并且想要整合到一个版本的链接等信号时，您需要做的是某种形式的规范化。这主要是为了防止重复内容，同时将页面的多个版本合并到单个索引URL。
您有几个规范化选项：
Canonical标签。这将指定另一个URL作为规范版本或您希望显示的版本。如果页面重复或非常相似，这应该没问题。当页面差异太大时，规范可能会被忽略，因为它是提示而不是指令。
重定向。重定向将用户和搜索机器人从一个页面带到另一个页面。301是seo最常用的重定向，它告诉搜索引擎，您希望最终的URL是搜索结果中显示的URL，并且信号被整合。302或临时重定向告诉搜索引擎您希望原始URL保留在索引中，并在那里整合信号。
URL参数处理（2022年初已弃用，不再有用）。参数被附加到URL的末尾，通常包含一个问号，如ahrefs.com?this=parameter。这个来自谷歌的工具可以让您告诉他们如何处理带有特定参数的url。例如，您过去能够指定参数是否更改了页面内容，或者是否仅用于跟踪使用情况。
如何确定移除的优先级
如果有多个页面要从谷歌的索引中删除，那么应该对它们进行相应的优先级排序。
最高优先级：这些页面通常与安全相关或与机密数据相关。这包括包含个人数据（PII）、客户数据或专有信息的内容。
中等优先级：这通常涉及针对特定用户组的内容。公司内部网或员工门户、仅供成员使用的内容，以及登台、测试或开发环境。
低优先级：这些页面通常包含某种类型的重复内容。这方面的一些示例包括来自多个url的页面、带有参数的url，还可能包括阶段、测试或开发环境。
常见的拔除错误要避免
我想介绍一些我经常看到的错误删除方式，以及每种情况下发生的情况，以帮助人们理解为什么它们不起作用。
robots.txt中没有索引
虽然谷歌曾经在robots.txt中非正式地支持noindex，但它从来都不是官方标准，现在他们已经正式取消了支持。许多这样做的网站做得不正确，伤害了自己。
在robots.txt中阻止爬行
爬行和索引是不一样的。即使谷歌被阻止抓取页面，如果有任何内部或外部链接到一个页面，他们仍然可以索引它。谷歌不会知道页面上有什么，因为他们不会抓取它，但他们知道页面存在，甚至会根据页面链接的锚文本等信号编写标题以显示在搜索结果中。
Nofollow
这通常会与noindex混淆，有些人会在页面级别使用它，希望页面不被索引。Nofollow是一个提示，虽然它最初阻止页面上的链接和带有Nofollow属性的单个链接被抓取，但现在情况已经不同了。谷歌现在可以抓取这些链接，如果他们想。Nofollow也被用于个人链接，试图阻止谷歌从爬行到特定的页面和PageRank雕刻。同样，这不再工作，因为nofollow是一个提示。在过去，如果页面有另一个链接，那么谷歌仍然可以从这个备用抓取路径进行发现。
请注意，您可以在SEO研究院网站审计的页面资源管理器中使用此过滤器批量查找未关注的页面。
由于不关注页面上的所有链接很少有意义，因此结果的数量应该为零或接近于零。如果有匹配的结果，我建议您检查是否不小心添加了nofollow指令来代替noindex，如果需要，请选择更合适的删除方法。
您还可以在链接资源管理器中使用此过滤器找到标记为nofollow的单个链接。
没有索引和规范到另一个URL
这些信号相互矛盾。Noindex表示要从索引中删除该页面，canonical表示应该索引另一个页面的版本。这实际上可能适用于合并，因为谷歌通常会选择忽略noindex，而使用canonical作为主要信号。然而，这并不是绝对的行为。这涉及到一个算法，并且存在noindex标签可能被计数的风险。如果是这种情况，那么页面将无法正确合并。
注意，你可以在站点审计的页面资源管理器中使用这组过滤器找到没有索引的非自引用规范的页面：
无索引，等待谷歌爬行，然后阻止爬行
这通常有几种方式发生：
页面已经被阻塞了，但是被索引了，人们添加noindex并解除阻塞，这样谷歌就可以爬行并看到noindex，然后阻止页面再次爬行。
人们为他们想要删除的页面添加noindex标签，在谷歌抓取并处理了noindex标签之后，他们会阻止页面抓取。
无论哪种方式，最终状态都被阻止爬行。如果你还记得，之前我们讨论过爬行和索引是如何不同的。即使这些页面被阻止，它们仍然可以在索引中结束。
如果这是你的内容，但不是你自己的网站呢？
如果你拥有在另一个网站上使用的内容，你可以根据数字千年版权法案（DMCA）提出索赔。您可以使用谷歌的版权删除工具来执行所谓的DMCA删除，它要求删除任何受版权保护的材料。
如果这是关于你的内容，但不是你自己的网站呢？
如果你在欧盟，你可以通过法院的“被遗忘权”命令删除包含你个人信息的内容。您可以使用欧盟隐私删除表格要求删除个人信息。
删除图片
要从谷歌中删除图像，最简单的方法是使用robots.txt。正如我们前面提到的，虽然从robots.txt中删除了对删除页面的非官方支持，但简单地禁止图像抓取是删除图像的正确方法。
对于单个图像：
用户代理：Googlebot-Image禁止：/images/dogs.jpg
对于所有图像：
User-agent: Googlebot-Image禁止：/
最终的想法
如何删除url取决于具体情况。我们已经讨论了几个选项，但如果你仍然不知道哪个适合你，请参考开始时的流程图。
您还可以通过谷歌提供的法律疑难解答来删除内容。
有问题吗?请在Twitter上告诉我。
进一步的阅读
如何从必应索引-必应网站管理员工具中删除URL或页面
块搜索索引与‘ noindex ‘ -搜索控制台帮助
控制你分享谷歌-搜索控制台帮助
从谷歌-搜索控制台帮助中删除信息