在列出你的网站可能出现的原因之前，你应该快速检查一下要做的事情和你应该设置的事情。虽然他们可能无法解决问题，但他们可能会帮助你缩小问题范围，让你不必逐项查看清单来找出真正的罪魁祸首。
稽核检查表
您有谷歌搜索控制台设置吗？
你有必应网站管理员设置吗？
谷歌Analytics是否设置并收集数据？如果你不确定，你应该先测试一下。
抓取您的网站与SEMrush审计工具和/或您选择的爬虫。
对于那些更高级的，你还应该：
获得访问您的cPanel或您的web主机的后端。查找并查看日志文件。
如果您已经拥有访问权限，强烈建议您查看日志文件并确保显示了用户和bot会话。你看到了还是什么也没看到？
既然您已经完成了这些项目，我们准备继续您可能发现的问题，导致您没有出现在谷歌中。
1. 搜索引擎可见性设置为“劝阻”在WordPress
这是WordPress中的一个默认设置，通常是开启的。你会看到在“阻止搜索引擎索引这个网站”旁边选中的框，它会为你更新你的Robots.txt，并告诉搜索引擎，如Bing和谷歌离开。
即使你的网站已经运行了几天，几周，或者几年，当我听到一个网站所有者谈论进入搜索引擎的问题时，我首先看到的是这个设置。
2. Robots.txt设置为Noindex
您可以通过访问HTTP或https://www.yourdomain.com/robots.txt进行检查。如果您在Robots.txt中看到以下代码，您正在告诉搜索引擎不要抓取您的网站。
User-agent: *不允许：/
这是怎么发生的？发生这种情况的原因和方式有很多：
WordPress中的搜索引擎可见性按钮被选中（见#1）
开发或暂存版本的代码被转移到生产环境中，随后出现了robots.txt文件，其中包含以下禁止代码。
可能是页面上的错别字，也可能是对robots.txt及其工作原理的误解。
我经常看到的一个让我害怕的例子是：
User-agent: *禁止：
虽然这意味着你想要所有的搜索引擎抓取你的网站，但它离阻止你的网站被所有的引擎搜索只有一个字符的距离。通常，我建议不要把这个放在robots.txt中，因为我总是担心有人会不小心添加一个“/”，然后把网站从谷歌和Bing中删除。
测试工具
技术SEO的机器人测试
b谷歌的机器人测试仪通过GSC
3. Meta标签
像#1和#2一样，这是一种可靠的方法，可以将页面从谷歌或整个网站中取出。这可以通过WordPress插件添加到网站上，甚至可以由某人硬编码到标题/网站模板中。
检查是否存在此问题，请执行以下操作：
在您选择的浏览器中打开您的网站
右键单击鼠标，选择“查看源代码”或“查看页面源代码”
搜索机器人
搜索noindex
找到哪些页面有元标记的另一种方法是使用您选择的爬虫抓取您的站点，或者使用SEMrush站点审计工具执行审计。两者都应该给您一个页面列表，然后您可以进一步挖掘您的CMS或代码并找出问题。
4. 主机或站点迁移
您最近是否将网站迁移到新的CMS、主题、WebHost、HTTP->HTTPs或其他大型迁移？你是否也改变了很多url，实现了很多重定向，或者没有重定向？我刚刚列出的这些东西可能会影响你的网站在搜索引擎的眼中，可能会让他们非常困惑。
这里是一个检查列表的HTTP- b> HTTPS和网站迁移帮助你（即使你已经做了移动，他们应该帮助你排除故障）：
HTTP到HTTPS：保护你的网站的完整指南
b谷歌文档中的HTTP到HTTPs迁移检查表共享，复制和下载
SEMrush网站迁移检查表
因此，如果您已经进行了迁移，那么很有可能在这些检查列表中遗漏了某些内容。
5. JavaScript & Mega menu
这些都是单独的问题，但它们确实经常一起出现。如果你所有的导航都是用JS编写的，那么引擎很难抓取，因此你的深层内部页面可能会变成孤岛和孤儿页面。
如果你的网站完全是基于JavaScript构建的，你可能会遇到比JavaScript中的Mega Menu或Menu更大的问题。Bartosz和one团队对Javascript SEO做了一些研究，你可能想深入研究一下，谷歌也有一个关于Javascript SEO的系列文章。
假设你以一种SEO友好的方式实现了Mega Menu，它们仍然可能成为SEO和爬行的问题。一位名叫约翰·穆勒的人在推特上发起了一个帖子，其中许多人支持、讨厌和赞扬Mega Menus，你可能会觉得它很有趣。
话虽这么说，Mega Menus可能会引起一些问题，所以应该列在这个列表上。如果您在使用爬虫程序时遇到问题，请务必查看您的Menu代码，看看它是创建了1000行还是10000行代码，以及这是否是导致问题的原因。
6. 重定向
第4条可能成为问题的主要原因之一是重定向。更具体地说，问题可能是缺少重定向或重定向链。如果你把你的网站移到一个新的域名，或者把你所有的页面移到新的url，但没有实现重定向，那么爬虫将只知道你的旧网站/页面，而不是新的。我经常看到重定向是让网站和页面进入搜索引擎的主要问题，因为缺少重定向或重定向链。
如果你想知道什么是“重定向链”，那很简单。它是包含多个301或302响应的多个页面跳转。浏览器或爬虫可能会看到这样的内容：
登陆site.com/page.php -> 301 Redirect -> site.com/productpage.php -> 302 Redirect
site.com/productpage5.php -> 302重定向-> site.com/page3.php并最终获得200响应。
有一些报道约翰·穆勒的评论（从2018年底开始）关于重定向，页面排名，以及为什么你应该尽量避免重定向链。
7. WWW或非WWW重定向
虽然这可能排在第5位，但我认为它值得单独讨论。我曾经有一个客户是SaaS公司，他们当然有一个服务的登录页面。他们还拥有白标合作伙伴和代码中的一长串检查，以确保根据cookie、referrer等显示正确的登录页面外观。
普通用户也没有看到的是，无论如何，该页面经常会进行一系列重定向。这些跳转包括404、302、301、301和其他一些状态——简而言之，这是一团乱麻。然而，产品团队担心的是，无论如何，我们都无法在谷歌中显示登录页面。
您可以猜到，这是因为谷歌不知道登录页面的有效URL是什么。现在，你的www，非www， HTTPS www和HTTPS非www主页都是做什么的？它们是都会消失，还是也会像比赛中的网球一样弹回来？
如果您不确定，我建议您使用https://httpstatus.io/，这是一种快速检查的方法。只需在您的域，选择“规范域检查”，并点击检查状态按钮。
你希望看到的是你域名的4个版本中的3个重定向到第4个版本，如下所示：
8. 深度内容或单击“深度”
这通常被称为“来自主页的点击量”或“点击深度”，而产生这种情况的问题之一就是分页。在大型电子商务网站和大型博客中，最常见的是深度内容或远离主页的内容。
要查看你的点击深度是多少，以及当前哪些内容受到了影响，你可以用你正在使用的网站爬虫或使用SEMrush审计工具轻松检查。这两种方法都可以帮助你识别距离主页5、6、7，有时甚至是10次以上点击的页面。
下面是来自SEMrush博客的页面截图，该博客通常也是深度内容的贡献者：
然而，SEMrush博客有几种方法可以找到内部链接——标签、用户/作者页面、博客文章中的内部链接等等。然而，在许多网站上，这些内部链接的其他方法做得并不好，网站只是使用博客主页和几个类别来尝试链接到100个，1000个甚至10万个产品和页面。要深入了解分页，您应该阅读Arsen的帖子“分页；你做错了”。
因此，如果你的大部分内容不在谷歌或必应中，但距离主页有5、6甚至10多个点击，我建议你做一个审计，并寻找方法增加到这些页面的内部链接。
9. 页面速度/页面加载时间
虽然我个人从未见过出现在b谷歌/Bing上对整个网站产生影响，但我看到过它对特定页面或页面类型的影响。仅仅因为我个人没有看到页面速度变慢对整个站点的影响，并不意味着它也没有发生。
如果您的服务器没有响应或对搜索引擎的响应很慢，这种缓慢的响应将使您的站点看起来很慢（技术上确实如此），并且您的站点排名可能会受到影响。也许更重要的是，我看到缓慢的页面影响了页面将用户转化为潜在客户和销售的能力，而这种影响对你的底线是最重要的影响。
为了测试你网站的速度，你可以使用一些工具，比如谷歌搜索控制台的新速度报告，谷歌分析，Chrome中的灯塔，或者任何其他免费的测试工具。
图片来源：https://webmasters.googleblog.com/2019/11/search-console-speed-report.html
10. 分面导航
如果你还在阅读这个列表，并且没有标记你的网站为重复或稀疏的内容，也许问题是你的电子商务网站使用分面导航。虽然这不仅仅是电子商务网站的问题，但它通常是人们会看到的。
那么，什么是分面导航，为什么它会绊倒搜索引擎呢？蜘蛛陷阱。爬的预算。重复的内容。这些只是一个做得不好的分面导航的一些负面影响。
整体的分面导航对于用户和抓取器来说是很好的，但这里有一些问题可能会影响你的网站获得抓取和排名的能力：
您使用URL变量来改变顺序，使其看起来像谷歌的新页面。下面是3个url，它们都呈现相同的列表，但看起来是3个独特的页面。
/男人/ ?类型= shoes&color = red&size = 10
/男人/ ?颜色= red&size = 10 +类型=鞋
/男人/ ?类型= =鞋子尺码= 10颜色红色
多种路径，即网站导航与网站搜索
在百思买，当你深入到一个可安装的智能电视，你得到https://www.bestbuy.com/site/tvs/smart-tvs/pcmcat220700050011.c?qp=features_facet%3DFeatures~Mountable
然而，在谷歌中显示得非常好的URL是https://www.bestbuy.com/site/searchpage.jsp?_dyncharset=UTF-8&browsedCategory=pcmcat220700050011&id=pcat17071&iht=n&ks=960&list=y&qp=features_facet%3DFeatures~Mountable&sc=Global&st=pcmcat220700050011_categoryid%24abcat0101001&type=page&usc=All%20Categories
问题：有限的抓取深度-有时限制选项的修复也会限制可用于排名的页面，而不是最好的一步。例子:
深入Grainger到https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots?attrs=Material+-+Machining%7CHigh+Speed+Steel&filters=attrs
当在谷歌搜索“内置导航仪的高速钢顶孔”时，一个类似但不准确的页面是排名- https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots。
虽然每种情况都是独特的，但通常解决方案包括：
规范的标签
通过元标签禁止
通过Robots.txt禁用
不跟随内部链接
使用JavaScript +其他方法隐藏链接
11. 你的网站有手动或算法惩罚
在某种程度上，这与第5条相反。而不是没有链接，你的网站可能有链接，甚至很多，但他们是有毒的和可疑的品种。你也有可能被黑客入侵并从索引中启动，但更有可能的是，你只是有太多的有毒链接。
那么你怎么知道你是否被罚了呢？b谷歌和Bing应该告诉你的。为了仔细检查，你可以在你的网站上找到更多的信息：
打开谷歌搜索控制台
打开必应网站管理员工具
打开与谷歌搜索控制台相关联的电子邮件地址（或发送警报的电子邮件）。搜索“谷歌”，“penalty”，看看你是否错过或不小心删除了谷歌的通知。
至于什么是好链接，什么是坏链接的话题已经在网站上讨论过了，我就不深入了，但是如果你因为链接而受到惩罚，你应该看看Ross Tavendale关于评估链接的每周智慧。
12. 你的网站缺少链接
如果你有一个新的网站，很有可能你没有或很少的链接。因为没有一个网站一开始就有成百上千的链接，这可能需要一些时间。看看你的谷歌搜索控制台，或者在SEMrush反向链接分析中查看你的网站，看看你有多少链接。
即使没有任何链接，谷歌和必应也会抓取你的网站，但如果没有它们，你很可能不会出现许多有竞争力的关键字。所以，如果你发现你的网站在技术上是健全的，你的内容是可调整的，总的来说，你的网站SEO是到位的，你缺乏链接的想法，搜索引擎只是没有优先考虑你的网站是一个非常现实的问题。
我对一些网站进行了排名，看到它们在没有或很少链接的情况下一直排名，但你不能指望这种情况总是发生在网站和行业。
13. 你的网站缺乏内容（和背景）
视觉vs内容通常有视觉方面的优势。然而，这导致许多网站可能在视觉上非常吸引人，但在网站上几乎没有内容和上下文的空间。想象一个艺术画廊，地板和墙壁将是白色的，或者非常简单，但让艺术脱颖而出。也许在它旁边会有一块很小的牌匾，上面有艺术家的名字，也许还有艺术品的名字。如果你的网站是类似的，没有上下文，搜索引擎需要上下文来了解更多关于艺术，艺术家，以及为什么它在画廊。
通常网站会把所有的内容都放在一张图片上，在页面上只使用稀疏的文字，在很多情况下，一张图片，或者从来没有真正在文字中说明公司是做什么的。正如我的搭档在我们的播客指南中所写的那样——这一切都是关于找到你的角度和讲述你的故事。
通过复制页面的主要文本并将其展示给别人来测试你的网站和页面——问他们这个页面是关于什么的，问他们有什么问题，让他们从内容中回答关于你的业务/服务/产品的问题。如果你的内容很单薄，没有上下文，他们可能会在所有这些任务中得分很低。
如果你是一家海鲜餐厅，但从不提及海鲜或任何类型的鱼，用户或搜索引擎如何理解你的网站是关于什么的？如果你提供草坪护理服务，但不列出你的任何产品，用户或搜索引擎如何知道你是这样做的？
如果你的产品描述和其他网站一样，都是30个简短的单词，用户或搜索引擎如何真正理解你在卖什么？
14. 你有很多内容。即大量重复内容
如果你有一个10页的网站，其中6页是你附近的城市，80% -99%的内容都是一样的，你可能会有排名问题。对于一个有10-30篇博客文章，但有10个分类页面和100个标签页面的网站也是如此。单薄和重复内容的数量非常高，因此，您的网站的感知价值将会很低。
此外，想想一个用户试图在你的网站上找到一些东西，他们可能不关心这些薄页，所以为什么搜索引擎要对它们进行排名，更不用说抓取它们了？
要深入了解如何识别重复内容，你可以阅读如何识别重复内容，这将引导你通过抓取你的网站。
查找重复内容的另一个选择是使用SEMrush站点审计工具。如果SEMrush网站审核机器人识别出多个页面的内容有80%相似，它会将其标记为重复内容。此外，内容过少的页面也可能被视为重复内容。运行审计后，您将看到以下屏幕：
在上面的例子中，问题很简单，第2页应该在最近的更新中被重定向，但却错过了。
所以，如果你在搜索引擎上有问题，看看你的内部页面，看看它们是否太相似，但也要看看你的内容与其他网站的比较。联属网站和电子商务网站的共同点是，即使不是100个网站，也有10个网站都使用相同的产品描述。如果你的网站有100种产品，而且没有任何独特之处，你会发现很难获得你想要的关键词排名。
15. 你的关键词有竞争力
这可能是我建议检查的第一件事，但也可能是最后一件事。通常情况下，问题并不是一个网站没有显示出来，而是它没有显示出CEO或其他人希望看到的行业关键字和目标关键字。
看看Nikolai Boroda的这篇文章，这篇文章深入探讨了关键字研究，试着更好地定义你的目标关键字（以及你老板的期望）。
这并不是说，有一天，你不会在你的行业中竞争最具竞争力的关键字，但如果你的网站是新的，你需要建立这一点，应该从你的品牌和长尾关键字开始。
你遇到过这些问题吗？请在评论中告诉我们你是如何处理这些问题的。