个企业的网站在很多方面都像一个数字商店或办公室。它是顾客或客户与企业互动的地方。这是他们第一次接触的地方，也是他们最终购买公司产品或服务的地方。这也是他们经常用来形成对企业品牌看法的方式。就像办公室或商店应该吸引并欢迎访客一样，商业网站也应该如此。
一个网站需要易于导航，并允许访问者快速找到他们想要的东西。事实上，对于一个网站来说，拥有一个简单明了的结构更为重要。这是因为糟糕的网站架构会对SEO产生负面影响。如果谷歌机器人和搜索引擎爬虫不能理解或导航一个网站，它可能会导致大问题。
不幸的是，网站架构很容易变得混乱和混乱——即使网站所有者或网站管理员一开始的意图是好的。企业的日常运营通常会妨碍网站结构的最佳实践。
我们与客户网站的经验
临时内容策略可以看到添加到站点的页面和元素，而无需考虑整体架构。人员流动可能导致不了解网站整体结构的个人突然负责维护网站。最终的结果往往是一个笨拙和低效的网站架构。
这正是我们与一位客户合作时所面临的情况。随着时间的推移，他们的网站已经发展到50多万页。网页的数量和它们被添加到网站的方式造成了一些严重的搜索引擎优化问题。我们面临的挑战是如何理清一个庞大网站的网站架构。
即使是最大和最令人困惑的网站也可以调整到合适的位置。你需要的是一个坚实的战略和坚持到底的意志。我们将分享我们与一位匿名客户合作的经验。通过这样做，我们希望能给你一些关于如何应对你自己的结构性SEO挑战的建议。
分析
作为一个外部专家来建议或解决网站的技术SEO问题，第一步是了解项目的范围。一旦你了解了全局，你就可以开始制定前进的策略了。即使你正在改进你自己的网站，作为一个整体来分析网站仍然是一个很好的开始。
对于较小的站点，可以手动检查站点架构并发现问题。随着网站规模的扩大，这变得越来越困难。一旦你的网站有超过50万页，它就不可行了。你可以连续几周把每天的每一个小时都投入到这个过程中，但仍然没有触及表面。这就是技术SEO工具的用武之地。
今天有各种各样的技术SEO和谷歌分析工具。有些是免费使用的，有些则需要付费，还有一些同时提供免费和付费版本。这些工具可以帮助您完成从检查页面速度到测试结构化数据的实现错误的所有工作。
使用SEMrush进行网站抓取
SEMrush Bot是一种有效的方法，可以执行深度爬行，以便掌握大型技术SEO项目。这种深度抓取将有助于识别困扰任何网站的基本和更高级的技术SEO问题。
它可以诊断的一些更基本的问题如下：
url错误
缺页标题
缺少元数据
错误的响应代码
正典中的错误
最重要的是，深爬行与SEMrush可以帮助你完成一些更高级的任务：
识别分页问题
评估内部链接
可视化和诊断网站架构的其他问题
当我们对网站进行深度抓取时，它突出了几个严重的问题。识别这些问题有助于我们制定总体策略来理清网站的架构。下面是我们发现的一些问题的概述。
问题一：与主页的距离
深度抓取所突出的一个最明显的问题是，有些页面离主页有多远。网站上的内容被发现在15页之外。作为一个规则，你应该尽量确保内容离你的主页不超过三次点击。
“三次点击规则”的原因有两个；这对你的网站访问者和SEO目的都有意义。对于访问者来说，他们不太可能愿意点击浏览15页来找到他们需要的内容。如果他们不能快速找到他们想要的东西，他们就会离开你的网站，到别处去搜索。
从SEO的角度来看，限制点击距离也是有意义的。搜索引擎算法会考虑页面与网站主页的距离。距离越远，页面就显得越不重要。更重要的是，远离主页的页面不太可能从主页的高链接权限中获得很多好处。
问题二：只有10%的页面被索引
从谷歌搜索控制台，我们发现只有10%的页面被索引。作为我们技术SEO分析的一部分，我们还审查了网站的日志文件；这暴露了许多其他问题。
一个没有索引的页面基本上是“未读”的谷歌和其他搜索引擎。从SEO的角度来看，如果搜索引擎找不到并“阅读”它，你就什么也做不了。它不会排名任何搜索查询，是无用的SEO。
我们的深度抓取显示，高达90%的网站页面属于这一类。该网站有超过50万页，相当于大约45万页，几乎没有SEO价值。正如我们所说，这是一个大问题。
问题三：URL结构不清晰
通过站点审计，还可以清楚地看到内容缺乏明确的URL结构。应该在同一级别的页面没有url来反映这一点。关于内容如何分类，谷歌收到了令人困惑的信号；这是你在建立博客或网站时需要考虑的问题。
解释这个问题的最好方法是举个例子。假设你有一个网站，其中包括各种各样的产品。您的url应该在逻辑上从域到类别再到子类别再到产品。一个例子是“网站/类别/子类别/产品”。然后，所有产品页面都应该具有一致的URL结构。
如果某些产品具有不同的URL结构，就会出现问题。例如，如果一个产品有一个类似“网站/产品”的URL。然后，该产品在站点中的位置与其他产品不同。这给搜索引擎和用户都带来了困惑。
问题四：主页和菜单上有太多链接
除了URL结构的问题，另一个需要解决的因素是页面上的链接数量；在某种程度上，这是一个全站问题。例如，菜单有400多个链接。同时页脚菜单包含42个链接。这个数字远远超过了一个人可能使用的链接数。很明显，这些链接的很大一部分没有被充分利用，因此不值得将它们合并到菜单或页脚中。
通过网站抓取，我们还发现了几个页面，包括主页，有100多个链接。一个页面的链接越多（包括菜单），这些链接通过的内部PageRank就越少。这也表明网站结构混乱。
总的来说，很明显，该网站实施的内部链接策略存在严重问题。这种策略影响了谷歌索引站点的方式，并导致站点访问者的糟糕用户体验。
额外的问题
通过现场审核，还发现了一些其他问题。其中一些问题不会影响网站架构，但如果得到解决，将提高搜索排名。以下是我们需要采取行动的一些关键因素的概述：
机器人文本文件：网站上使用了数千个标签。大多数标签只有一小部分内容与它们相关联。除此之外，还有机会通过拒绝机器人访问网站来优化抓取预算；这有可能提高页面速度。
改进元数据：可以审查和改进排名页面的元数据，以提高自然点击率。
页面加载时间：有机会改进页面的加载时间。同样，这也是谷歌的一个排名因素。
遗物域名页面：通过对服务器日志的分析，我们发现了一些遗物域名页面受到了大量b谷歌Bot活动的影响；这远非理想。这种行为可能意味着那些过期的页面仍会出现在搜索结果中。
解决方案
我们的分析和研究确定了我们面前项目的范围。它阐明了需要解决的问题。这使我们能够制定一项战略，逐步解决这些问题。下面是我们在改进网站结构时所关注的四个关键领域的概述。该列表不包括我们完成的其他任务，如更新元描述和核心页面上的内容，这是网站审计的核心部分。
第一步：重定向和其他调整
我们要做的第一个任务是重定向遗留页面。从那些我们认为b谷歌Bot活动最多的开始。我们确保页面被重定向到最相关的内容。有时这意味着用另一页代替了原来的那一页。在其他场合，它指的是主页。
这一策略使我们迅速取得了开局的胜利。它确保了任何来自过期域名的流量不会遇到损坏的页面。我们一开始所做的另一个简单调整便是PR页面的布局；这消除了谷歌关于它是否实际上是网站存档页面的困惑。这立即改善了内容索引。
除此之外，这个网站还有数千个标签。我们不希望内容有限的标签出现在搜索结果中，因为这会给访问网站的人带来糟糕的用户体验。出于这个原因，我们取消了这些页面的索引。
第二步：减少菜单中的链接数量
除了重定向过期页面的任务外，我们还致力于改进菜单结构。正如我之前提到的，网站菜单上有400多个链接；这远远超过了网站访问者所需要的。此外，它比一个页面上推荐的链接数多四倍。
虽然我们知道菜单中的链接数量是一个需要处理的问题，但我们仍然需要选择删除哪些链接。我们的解决方案是首先分析人们点击了哪些链接，这样我们就知道哪些链接对读者最有用。我们使用谷歌Analytics和热图软件的组合来生成数据，然后进行分析。
一旦我们确定了最有用的链接，我们就开始确定我们知道需要出现在菜单上的类别和子类别页面。在这方面，我们的方法是创建一个网站结构，所有内容都在主页的三次点击之内。
第三步：聚类和重组
在我们最初的快速胜利之后，是时候转向重塑网站架构的更大工作了。我们需要解决点击距离的问题，给网站一个更合理的结构。这样一来，爬虫和实际用户都可以更容易地进行导航。
我们采取的一个步骤是使用聚类内容的思想。这意味着把相关的页面放在一起，并从一个“支柱主题”页面链接到它们。该页面将在网站主页的几次点击内，这意味着在三次点击内可以带来大量相关页面。像这样的内容集群使访问者和爬虫更容易操纵网站的内容。
集群是我们开始组织大量页面的方式。当涉及到整体结构时，我们专注于创建内容金字塔的想法。这样的金字塔是公认的网站结构的黄金标准。该网站的主页位于金字塔的顶端。分类页面在下面，子分类在更下面一层。然后，各个页面构成了金字塔的宽底部。
一旦内容集群和金字塔形成，链接的问题也很容易解决。有了一个明确的结构，页面间的链接就简单多了。不再有任何页面有数百个多余的链接。
第四步：改进URL结构
我们对网站结构的重组使得改进URL结构变得轻而易举。内容金字塔意味着站点的url可以实现我们前面提到的逻辑流。页面不再是在不同的站点级别上临时放置的。
网站上无数页面的url被整合到一个定义好的结构中；删除了发送到谷歌的混合信息。搜索引擎现在可以更容易地理解和索引网站的内容。
第五步：为图像添加维度
当涉及到许多站点的页面速度时，图像的文件大小是一个重要的问题。图像的格式通常是不正确的，如果有的话。通过为图像添加尺寸，您可以通过确保在第一次显示正确大小和格式的图像来显著改善页面加载时间。
通过为图像添加尺寸，我们将类别页面从通常超过25 MB减少到每页2-4 MB，这更容易接受。这大大提高了页面速度和用户体验，同时减少了服务器上的压力。
结果
我们的工作对网站的影响是显而易见的。网站结构的改进对索引产生了深远而迅速的影响。结果，它对站点流量产生了类似的愉悦效果。在最初的三个月里，谷歌索引页面的比例从10%上升到93%。此外，提交的url被批准的百分比也有所提高。
不出所料，350,000个页面突然被编入索引导致网站流量增加。前三个月游客数量增长了27%，9个月后增长了120%。
结论
我们为改进网站架构所采取的具体步骤可能不适用于您的网站。然而，起作用的是我们采用的总体策略。这是一种策略，即使对于最大、最令人困惑的网站，也能带来令人印象深刻的结果。
首先，你必须对手头的项目进行彻底的研究。全面的研究和分析你的网站是什么应该定义你的工作范围。然后，您将有一个改进的路线图。如果您按照路线图完成工作，您肯定会看到结果。