关于技术性 SEO 究竟包含哪些内容，存在着相互矛盾的定义。有些定义尽可能地缩小范围——将其限定为 SEO 特有的技术概念，例如指令、robots.txt、抓取路径等等。这就像“技术语言”一样，本质上就是非常具体的。

另一些人则将技术 SEO 的定义扩大到任何利用哪怕是基本技术知识的 SEO 活动。例如，你可能已经注意到，标题标签和 H1 标签出现在许多“技术 SEO”审核工具中。

早在 2017 年，已故的伟大人物拉斯·琼斯就提出了这样的定义：

为了改善搜索结果而采取的任何足够技术性的措施。

他用这张图表来说明：

对于拉斯来说，重点在于行动的技术性，而不是所依赖的主题或专业知识。

本章我们将从这些定义中选取一些内容。我们将涵盖：

• 技术和非技术 SEO 的技术基础 — PageRank、抓取和索引以及渲染

• SEO 的专业技术知识 — 指令、hreflang、robots.txt、索引 API 等等

• 具有 SEO 意图的技术活动 — 性能、结构化数据和“边缘”SEO

另一方面，我们不会涵盖《SEO 新手指南》及其对应章节中已经详尽介绍的主题。如果您想了解网络的工作原理、规范化或基本的性能优化技术，可以点击此处查看。

第一部分探讨的是 Russ 的“三巨头”之一——SEO 和 Google 的实际运作方式，以及理解其余部分所需的（主要是）技术基础。本指南将重点介绍链接、索引和渲染。如果您希望更深入地了解搜索引擎的工作原理，可以先阅读《SEO 初学者指南》的章节（ 1、2 ）， 这些章节对您有所帮助。

链接和 PageRank

链接。每个人都喜欢它们，但它们是如何工作的呢？

早在 90 年代末，链接在人们浏览网页的方式中占据了很大一部分，可能来自像这样的门户网站：

Google 的核心创新在于找到了一种利用这些链接来衡量网站受欢迎程度的方法。他们提出一个理论：如果一个非常受欢迎的页面上有 20 个链接，那么该页面的流量中会有一部分（可能是二十分之一）会传递给它所链接的页面。这些页面又会以类似的方式继续传递流量，以此类推。通过这个系统，他们的目标是计算出用户浏览网页时访问某个页面的概率——仅仅基于该页面在链接网络中的突出程度。这个系统被称为 PageRank。

当然，事情远不止于此。首先需要注意的是，用户浏览页面时，有可能只是点击书签或以其他方式请求随机页面，而不是点击链接。从数学上讲，这会阻止所有页面的 PageRank 值收敛到 0 或 1。1998 年最初的 PageRank 论文中建议将这个衰减因子设为 15%，它支撑了大量现代 SEO 最佳实践。

让我们看看实际情况是怎样的：

如果我们假设页面 A 链接到另一个页面，那么该页面将获得 0.85* A 的 PageRank。

在基本系统下，如果 A 链接到两个页面，则传递给每个页面的金额将减少一半：

相反，如果 A 间接链接到第三个页面，则该抑制因子将被应用两次：

0.85*0.85，即 0.85^2，计算结果为 0.7225。

你很快就能看出这有多复杂。我们来看一些例子，每个页面只链接到一两个其他页面，并且彼此之间没有链接。

然而，从这些简单的例子中，我们已经可以吸取一些作为技术 SEO 的基本教训：

• 间接链接会进一步稀释价值。 这也适用于规范链接和重定向——重定向本质上就是一个只有一个链接的页面。

• 一个页面链接到其他页面的链接越多，每个页面传递的价值就越低。 这会对网站结构和导航产生影响——链接到太多你不感兴趣的页面会稀释你关注的页面的价值。（从历史上看，nofollow 链接不会算作这种贬值，但这种情况已经很久没有发生过了。）

• 我们讨论的是页面，而不是网站或域名。 像“域名权重”这样的概念之所以有价值，是因为一个网站上的页面绝大多数都是相互链接的，而不是外部链接，从而形成了权重集群。但这里并没有域名这个固有的概念。

这些基本构建块可以帮助我们理解许多 SEO 最佳实践背后的原因，但还有一些注意事项和复杂情况需要介绍：

• 理性的浏览者。 如果一个页面有两个链接，它们不一定会分配相同的权重——更有可能被点击的链接将获得更大的份额。

• Noindex = 不关注。

Noindex = nofollow

不，这不是打字错误。

回想一下我们上一节学到的内容，使用“noindex, nofollow”的理由真的很少。当然，你可能想把一些内容单薄或价值低的页面排除在索引之外，但你想阻止它们通过内部链接将 PageRank 循环到你网站的其他部分吗？当然不想。为了证明这个标签的合理性，你会遇到一些极端的情况，比如链接到你根本不想让谷歌知道其存在的资源的页面——在这种情况下，robots.txt 难道不是一个更简单的解决方案吗？

然而，乍一看，“noindex” 似乎有其合理之处（其效果与更明确的“noindex,follow”相同）。也许你有一个不想被索引的页面，但它仍然链接到你网站上的其他页面，所以你想避免 PageRank 陷入死胡同，对吗？

很遗憾，他们错了。几年前，谷歌透露 ，尽管他们当时并没有真正注意到，但这是他们算法的一个意外后果：noindex 页面最终会变成事实上的 nofollow 页面，因为它们不再被抓取。

当然，这会对 noindex 指令的吸引力产生一些影响。有时，像规范标签这样的解决方案可能会有所帮助，但如果页面没有你想要索引的近似重复内容，这种方法并不总是可行的。有一些“鱼与熊掌兼得”的方案，比如用 JavaScript 隐藏链接（然后在 robots.txt 中屏蔽该脚本），但这可能会被视为不严格符合 Google 的网站站长指南。

所以，最终我们必须避免过度链接到此类页面——这可能会带来用户体验挑战。作为一名技术型 SEO，你必须权衡这些妥协。

渲染

关于您提到的 JavaScript…

如今，谷歌声称能够解析依赖 JavaScript 的页面。这在某种程度上是正确的，但有几点需要注意：

• 有时情况不太顺利

• 其他搜索引擎和爬虫做得更糟

不过，渲染并非 JavaScript 的专利，即使是在开发一个简单的网站时，理解渲染也是一个不错的概念。尝试对比一下页面的原始 HTML 源代码（Chrome 中按 Ctrl+U）和开发者工具中的“元素”选项卡（Chrome 中按 Ctrl+Shift+I）。区别在于前者是原始 HTML，而后者是渲染后的页面。这种差异在不同网站之间可能存在较大差异，这也是 SEO 问题最初令人困惑的常见原因。

有一些很好的工具可以帮助您理解这种区别，但我们特别推荐查看渲染源 Chrome 扩展程序。

Googlebot 如何呈现您的网页（以及为什么不呈现）

无论如何，回到 Googlebot。

Googlebot 首先会解析原始 HTML，它主要用来发现链接。之后，页面会进入渲染队列，在那里等待几秒甚至几周的时间，最终被 Chrome 浏览器渲染，之后才会返回到处理阶段并被编入索引。

因此，如果您的初始内容在未渲染的情况下无法正常工作（可能是由于 JavaScript 依赖），那么您就延迟了初始链接的发现。这或许没什么问题。更大的问题是渲染效果不佳。

造成这种情况的一些原因可能是：

• 页面渲染完成前超时

• robots.txt 中阻止的关键资源

• JavaScript 解析不佳

您可以使用 Google Search Console 和移动设备友好度测试等工具来查看 Googlebot 的实际表现。通常情况下，它的表现相当不错，但这也是 SEO 作弊的常见来源。

预渲染和动态渲染

多年来，谷歌一直倡导各种替代方案，以取代依赖其自身的 JavaScript 解析能力。许多从事 JavaScript 依赖型网站的 SEO 人员选择通过预渲染来完全规避这个问题，但谷歌目前青睐的解决方案是所谓的动态渲染。我们将逐一简要介绍每种方案。

预渲染

理想的折衷方案是向搜索引擎展示一个他们能理解的纯 HTML 页面，但向用户展示你精美的 JavaScript 驱动的 Web 应用，对吗？预渲染服务和框架正是这样做的，有时只为机器人提供特定的 HTML 版本，有时则为用户和机器人生成预渲染的 HTML 版本。

您可能还会看到使用短语“服务器端渲染”，这与向用户提供纯 HTML 类似，但不同之处在于渲染是在用户每次尝试访问页面时根据请求进行的。

动态渲染

通常，“隐藏内容”（cloaking）——即向用户和 Googlebot 显示不同内容的行为——是 Google 所反对并试图惩罚的行为。然而，多年来，为了处理依赖 JavaScript 的网站，Google 也做出了一些例外，而最新的例外就是动态渲染。

动态渲染只是谷歌对上述预渲染版本的一个说法，它只向特定的用户代理（即机器人）提供预渲染的页面。尽管在谷歌 2018 年承认该策略之前，许多网站就已经在这样做了，但谷歌通过明确承认这一策略，赋予了其合法性，并向用户保证他们不会受到惩罚。Bing 也明确承认了这种方法。

到目前为止，我们已经讨论了 SEO 的核心功能。下一部分略有不同——本节不讨论一般 SEO 运作的技术细节，而是探讨 SEO 作为一门学科的技术细节 。其中一些技术细节通常被称为独立的学科，例如国际 SEO 或移动 SEO。

专家指令

许多这些专业主题的出现都是因为我们上面了解到的 PageRank 的复杂性，或者初学者指南中介绍的重复问题。

例如，如果你一开始服务的是英国客户，但后来想为英国和澳大利亚的用户提供不同的内容，你该如何确保你的新版本（也就是第二个版本）保留原始页面的部分权重？你又该如何确保谷歌显示正确的版本呢？

对于重复行为有各种受制裁的特殊情况，包括：

• 国际化，通过 rel=”alternate” hreflang 标签

• 移动设备，通过 rel=”alternate” 媒体标签（尽管近年来单一、响应式页面更受欢迎！）

• AMP，通过 rel=”amphtml” 标签

• 服务器端渲染版本，通过动态服务或历史上通过 meta name=”fragment” 标签

这些标签的作用不应与规范化混淆。事实上，关于规范化的最佳实践因情况而异——国际版本都被视为各自的规范版本，而对于移动版本，则只有一个版本被视为规范版本。

话虽如此，在这些情况下，权威性确实会有所转移，正如人们预期的那样，使用规范标签也是如此（尽管程度可能有所不同）。几年前，汤姆·安东尼（Tom Anthony）在揭露谷歌站点地图提交流程中的一个漏洞时就证明了这一点。他的测试表明，仅通过 hreflang 链接到较老、已建立的域名的新域名，可以立即出现在竞争激烈的搜索排名中。

索引和抓取预算

大型网站往往最能从强大的技术性 SEO 中获益，这恰恰是因为它们的规模。谷歌表示，页面数量超过一百万或每日更新一万个页面的网站可能会在“抓取预算”方面遇到问题。（尽管实际上，抓取预算问题的严重程度会因网站的权威性、受欢迎程度和新鲜度而有所不同，因此这是一个不够精准的基准。）此外，大型网站可能更难将权威性集中在关键页面上，因为它们的网站架构复杂，或者仅仅是需要同时争夺各种竞争激烈的搜索意图。

首先要说的是“抓取预算”——这个概念指的是 Google 为抓取特定网站而分配的有限时间。在某些情况下，这笔预算可能不足以及时抓取网站上较深层或较隐蔽的页面，甚至根本无法抓取。此类问题通常由以下几个原因之一引起：

• 诸如过滤/排序参数（example.com/shirt?&colour=yellow&size=large&page=230 等）等因素导致动态生成的 URL 数量极高

• 用户生成的 URL，尤其是

  • 搜索结果页面

  • 列表页面，尤其是职位列表或分类广告，其中每个新广告都会生成（至少）一个新的 URL。

  • 评论区和论坛

当然，这并不是一份详尽的清单。这些只是我们遇到的一些较为常见的例子。

SEO 人员可以使用一些工具来控制 Google 可能偶然发现的 URL 数量，从而避免浪费宝贵的抓取预算。然而，所有这些工具都有其弊端：

• Robots.txt 阻止或 nofollow – 创建一个 PageRank 死胡同，正如我们在本章前面所探讨的那样，阻止任何进入页面的 PageRank 回收并返回到网站的其余部分。

• Noindex—— 最终也会造成 PageRank 死胡同。

• 规范标签 – 仅适用于 Google 将网页视为已编入索引网页的重复网页的情况。此外，该网页仍会被抓取，尽管抓取量可能较小，因此抓取预算的收益可能微乎其微。

• 301 重定向 – 仅适用于用户不需要访问冗余页面的情况，并且应伴随内部链接清理

最终，最好的解决方案是首先避免创建太多这样的冗余 URL。

索引工具

另一方面，SEO 人员可能还希望通过鼓励 Google 或其他搜索引擎优先考虑他们最近更改、最近添加或认为紧急的 URL 来更好地利用他们的抓取预算。

从历史上看，这通常意味着在定期抓取的页面（通常是主页）的内部链接中突出显示这些优先 URL，以及提交给 Google Search Console/网站管理员工具，或许还有站点地图提交。

后者未必有帮助，因为站点地图通常和它们所记录的网站一样臃肿。然而，最近一些网站发现， 为新 URL 设置专门的站点地图 （通常是新闻站点地图，但不一定）可以加快对该站点地图的抓取速度。考虑到 Google 对新鲜 URL 的渴求，这很合理。

我们也看到了谷歌和必应（Bing）索引 API 的兴起。截至本文撰写时，谷歌仅为招聘信息（一个抓取预算挑战尤为严峻的垂直领域）提供此功能，而必应的服务 IndexNow（也由 Yandex 支持）则提供了更广泛的支持。

然而，随着一些关于 CMS 集成触发 IndexNow 请求的新 URL 的讨论，很难看出这种解决方案最终不会遇到完全相同的挑战——冗余 URL 供应过剩以及很少或没有分类。

本章中技术 SEO 的最后一个大类不一定是 SEO，而是与 SEO 相关的技术活动，具有具体的 SEO 优势。

表现

近年来，最突出的挑战是性能，也就是网站速度。2021 年 8 月，谷歌终于推出了针对移动端 SERP 的页面体验更新，该更新将奖励那些在某些指标上超过固定阈值的网站。这套指标和阈值可能会随着时间的推移进行调整和扩展，在撰写本文时，桌面端的更新也即将推出。

网络性能是一个值得专门撰写指南的话题，但 SEO 人员至少应该熟悉一些他们可以使用的关键工具。

浏览器开发工具

从 Firefox 浏览器开发工具的网络选项卡中抓取的图表显示了很多有用的信息。

您可以看到哪些资源必须在 DOM 准备就绪之前加载（蓝色垂直线），哪些资源会进一步延迟页面的加载（粉色/红色线）。通过识别哪些资源是冗余的或缓慢的，您可以快速找到需要关注的方面，以提升网站性能，或者至少更好地了解页面的运行方式。

Chrome 具有类似的功能，但还有另一个方便的技巧：它实际上会告诉您需要多少每种资源以及浪费了多少代码。

例如，我们可以看到，一些延迟页面加载的资源实际上几乎完全没有必要——这显然是一个改进的机会。

专业工具

浏览器开发工具非常强大，但如果没有其他工具提供更多指导，学习起来可能会很困难。

Google 自己的 PageSpeed Insights 在这一领域表现良好，而且当然是免费使用的。更棒的是，我们 Moz Pro 中的性能指标套件也能提供相同的洞察，但一次可以针对多个 URL 进行分析，并增加了跟踪功能和指导。

结构化数据

结构化数据，最简单的形式，是页面源代码中一堆高度机器可读的信息。它对搜索引擎来说无疑非常有用。然而，它对 SEO 的实用性则备受争议。

一些结构化数据具有非常明显的 SEO 优势，这主要指的是与 Google 搜索功能相关的结构化数据类型，例如星级评定的丰富网页摘要或食谱标记。您可以在此处阅读更详尽的列表。

然而，仅仅为了提供额外信息和上下文而使用更繁琐的标记，其好处却不那么明显。拆分测试反复表明 ，此类标记在排名和流量方面带来的好处有限，或者仅在非常特殊的情况下才有效。

示例：综合评分标记

SEO 的一个常见目标是让其页面在 Google 搜索结果中显示星级评分。如果您的客户对您的产品或服务的平均评价很高，那么就吸引额外点击而言，这似乎是理所当然的。

您可以在 Google 的文档中看到一堆代码示例，甚至可以通过 Google Tag Manager 注入 – 所以这应该不太难，对吧？

事实上，有几点需要注意：

• 只有某些特定内容类型才有资格获得总体评级标记（尽管它有时会出现在官方列表中未列出的类型中）。

• 谷歌过去曾因网站所有页面都应用通用评级标记而受到惩罚。这是因为结构化数据应该应用于其所在的页面，并明确针对该页面的目标对象，因此不应在每个页面上都描述你的整个业务。

• 您的标记所描述的评论和评级应该在该页面上对用户清晰可见

顺便说一句，这些对于 SEO 来说总体来说都是很好的原则。

从好的方面来说，与 Google Ads 不同，这些评论不需要来自某些经过验证的第三方评论聚合器 – 它们可以来自您自己的数据库，只要客户可以看到它们。

因此，如果您有一些评论数据库可供使用，您的步骤可能如下所示：

1. 将索引页面映射到客户评论，以便评论仅适用于正确的产品或服务的页面，并且没有两个页面具有相同的评论列表

2. 在相应页面上显示总体评分和（部分）相关评论

3. 通过原始 HTML 或 Google Tag Manager 注入标记

4. 通过 Google 自己的 Rich Results 工具或 Google Search Console 确认

边缘 SEO

本章的最后一个主题是技术 SEO 库中一个新兴的工具。“边缘”指的是位于网络边缘的服务器——可能与 CDN 同义，但不一定——它们会在服务器生成的页面到达用户之前对其进行修改。

这意味着 Edge SEO 根本不会干扰页面的原始构造，而是在传输过程中对页面进行动态更改。

从历史上看，如果您想对网站进行 SEO 更改，您可以通过修改网站的代码库或使用 CMS（例如 WordPress、Drupal 等）来实现。

不过，甚至在 Edge SEO 兴起之前，一些 SEO 人员就主张在原有网站过于老旧、复杂、维护不善或过时而无法维护时，使用 Google Tag Manager 作为“元 CMS”。虽然这种做法很诱人，但也存在一些明显的问题：

• 进一步增加维护的复杂性

• 需要 JavaScript 渲染才能让 Google 理解这些变化

• 如果更改可见，则为用户呈现 flash

• 只是推迟了显然必要的基础网站/机构的重建

“边缘” SEO 的使用方式也类似，但避免了一些缺点——它不依赖 JavaScript，也不会伴随渲染 flash。原则上，几乎任何 SEO 更改都可以在这个层面上进行，具体取决于所用解决方案的复杂程度——从 Cloudflare 等 CDN 上提供的“边缘服务器”，到位于原始服务器和 CDN 之间的专用独立服务器。