揭秘谷歌搜索排名的工作原理

从现有的资料来看，谷歌文档泄露事件与反垄断听证会公开的谷歌搜索排名文件并未直接揭开谷歌搜索排名的全部运作细节。

随着机器学习技术的深入应用，有机搜索结果背后的机制变得极其复杂，即便是谷歌内部负责排名算法的专业人士，也难以精确阐述为何某个特定结果会位居榜首或次席。我们尚不清楚这些众多影响因素的具体权重及它们之间错综复杂的相互作用关系。

然而，深入理解搜索引擎的整体架构仍然至关重要。这不仅能帮助我们理解为何某些精心优化的网页未能获得高位排名，还能揭示为何一些看似简单且未经刻意优化的结果却能脱颖而出。更为关键的是，这促使我们拓宽视野，重新审视并识别出真正影响排名的核心要素。

所有已披露的信息均指向这一点。对于任何关注搜索引擎优化（SEO）的人来说，都应将这些新发现融入自己的思考框架中。这将促使我们以全新的视角审视自己的网站，并在分析、规划与决策过程中引入更多维度的考量标准。

坦诚而言，要精确勾勒出这些复杂系统的全貌实属不易。网络上关于此类信息的解读往往存在分歧，即便是讨论同一主题，所用术语也可能大相径庭。

举个例子，负责优化搜索结果页面（SERP）布局的系统，在某些谷歌文档中被称为 “Tangram”，而在其他文档中则换上了 “Tetris” 这一名称，这或许是对那款经典游戏的巧妙借喻。

经过数周的深入研究，我反复查阅、分析、整理、筛选并重组了近百份相关文档。本文虽非尽善尽美或绝对权威，但确系我基于现有知识与理解，以类似侦探福尔摩斯般的细致精神，竭尽所能完成的成果。呈现在你面前的，便是我个人视角下的探索总结。

作者创作的谷歌排名工作原理的图解概览

一份新文档等待谷歌爬虫访问

当你发布一个新网站时，它并不会立即被谷歌索引。谷歌需要首先发现这个网站的 URL，这通常是通过更新站点地图或是由一个已知 URL 上的链接引导来实现的。

对于像首页这样频繁被访问的页面，它们往往会更快地将新链接的信息传递给谷歌。

谷歌的 Trawler 系统负责抓取新内容，并跟踪何时重新访问这些 URL 以检查是否有更新。这一过程由调度器精心管理，而存储服务器则负责决定是转发这些 URL 供进一步处理，还是将它们暂时放置在所谓的 “沙盒” 中。尽管谷歌官方否认了沙盒机制的存在，但最近的泄露信息却暗示，那些被怀疑为垃圾或低质量的网站确实有可能被置于这样的环境中进行观察。值得注意的是，谷歌似乎还会转发一些垃圾内容，这可能是为了深入分析，以进一步优化其算法。

假设某个文档成功通过了这一系列筛选，那么文档中的外部链接将被提取出来，并被分类为内部链接或外部链接。这些链接信息随后会被其他系统用于进行链接分析和 PageRank 计算（关于这一点，我们稍后会详细阐述）。

而对于指向图像的链接，它们则会被专门转发给 ImageBot 进行处理。这个过程有时可能会遇到显著的延迟。ImageBot 会调用这些链接，并将图像与相同或相似的图像一起存储在图像数据库中。此外，Trawler 还会根据它自己的 PageRank 评估结果来调整对网站的抓取频率。简单来说，如果一个网站的访问量较大，那么 Trawler 对它的抓取频率也会相应提高，这被称为 ClientTrafficFraction（客户端流量比例）的影响。

Alexandria：伟大的索引库

谷歌的索引系统名为 Alexandria，它巧妙地为每一份内容分配一个独一无二的 DocID。若内容已存在于系统中，比如在处理重复内容时，系统不会生成新的 ID，而是会将新发现的 URL 与已存在的 DocID 相关联，实现内容的统一管理和识别。

值得注意的是，谷歌严格区分 URL 与文档的概念。一个文档可以涵盖多个 URL，这些 URL 虽然指向不同位置或包含细微差异（如不同语言版本的页面），但只要它们的内容相似且被正确标记，就会被视为同一文档的不同表现形式。同时，来自其他域的 URL 也会在这一体系下被合理分类。所有这些 URL 所携带的信息和信号，都会通过它们所关联的同一个 DocID 来整合处理，确保内容的一致性和准确性。

在处理重复内容时，谷歌会精心挑选一个规范版本作为搜索结果的主要展示对象。这也解释了为什么我们有时会看到多个 URL 在搜索结果中排名相近 —— 它们实际上都指向了同一个文档的不同入口。而 “原始”（即规范）URL 的确定并非一成不变，它可能会随着谷歌算法的更新和内容的演变而有所调整。

图 1: Alexandria 收集文档的 URL

由于我们的文档在网络上独一无二，因此被赋予了一个专属的 DocID。

网站的不同部分会被搜索引擎细致扫描，寻找相关关键词短语，并将这些信息推送至搜索索引中。在这一过程中，页面上的所有关键词 “亮点”（即 “命中列表”）首先会被送往直接索引，该索引负责整合页面上重复出现的关键词。

随后，这些关键词短语会被精心编织进倒排索引的词汇表中。以 “铅笔” 为例，这个词及其所有包含它的关键文档，都已被纳入索引体系之中。

简而言之，由于我们的文档中 “铅笔” 一词频繁出现，它现在在词汇索引中占据了 “铅笔” 条目的位置，并与对应的 DocID 紧密相连。

与 “铅笔” 相关联的 DocID 会获得一个通过精密算法计算出的 IR（信息检索）分数，该分数将在后续用于搜索结果列表中的排序。值得注意的是，若 “铅笔” 一词在我们的文档中被加粗显示，或位于 H1 标签中（这些信息存储在 AvrTermWeight 中），这些都会作为提升 IR 分数的积极信号。

谷歌会将视为重要的文档迁移至其核心存储系统 ——HiveMind，即主存储器。这里融合了高速 SSD 与传统 HDD（称为 TeraGoogle），后者用于长期存储非即时访问的数据。文档和信号都存储在主存储器中。

据专家估算，在人工智能热潮兴起之前，全球大约半数的网络服务器均由谷歌托管。这一庞大的互联集群网络，使得数百万个主存储单元能够高效协同工作。甚至有谷歌工程师在会议中提及，理论上，谷歌的主存储器容量足以涵盖整个互联网的信息量。

有趣的是，存储在 HiveMind 中的链接，包括反向链接，似乎被赋予了更高的权重。例如，来自权威文档的链接将获得更多重视，而存于 TeraGoogle（HDD）中的 URL 链接则可能权重较低，甚至被忽略不计。

提示：为你的文档提供准确且一致的日期信息至关重要。无论是源代码中的日期（BylineDate）、从 URL 和 / 或标题中提取的日期（syntaticDate），还是从内容中解析的日期（semanticDate），都将被综合考虑。
随意更改日期以营造时效性的假象可能导致搜索引擎降权处理。lastSignificantUpdate 属性精确记录了文档最后一次重大更新的时间，细微的修改或拼写更正并不会触动这一计数器。

每个 DocID 的附加信息与信号都被动态存储在 PerDocData 库中，供多个系统在优化搜索结果相关性时调用。此外，文档的最近 20 个版本都会被保存在历史记录中（通过 CrawlerChangerateURLHistory 实现），使谷歌能够评估并追踪内容随时间的演变。

若你计划彻底改变一个文档的内容或主题，理论上需通过创建一系列过渡版本逐步过渡，以覆盖并替换旧的内容信号，这一过程可能需持续发布多达 20 个版本。这解释了为何复活过期域名（即曾活跃后废弃的域名）并不总能带来排名上的优势。

当域名的管理权发生变更，同时内容主题也大幅调整时，谷歌系统能够敏锐地捕捉到这些变化，并将所有相关信号重置，使得旧域名在排名上不再享有特殊优待，与全新注册的域名站在同一起跑线上。

图 2：除了泄露的信息外，美国司法部门对谷歌的审判和听证会提供的证据文件也是进行深入研究的宝贵资源。这些文件中还包含了内部电子邮件。

QBST: 搜索 “铅笔” 的详细过程

当你在谷歌中输入 “铅笔” 进行搜索时，QBST 系统便立刻启动，开始处理这一请求。系统首先会细致地分析搜索关键词，如果搜索短语由多个词汇组成，这些词汇会被精准地传递到词汇索引中，进行深入的检索。

接下来，术语加权过程会登场，这是一个复杂而精密的步骤，它涉及到了 RankBrain、DeepRank（原名 BERT）以及 RankEmbeddedBERT 等多个先进的系统。在这些系统的协同作用下，与 “铅笔” 紧密相关的词汇会被进一步传递给 Ascorer，进行更深层次的处理。

Ascorer: 构建 “绿色环”

Ascorer 的工作是从倒排索引中筛选出与 “铅笔” 最相关的前 1000 个文档（DocID），并按照信息检索（IR）评分进行排序。这个排序后的文档列表，我们称之为 “绿色环”，在行业内也被广泛称为发布列表或 posting list。

Ascorer 作为 Mustang 排名系统的重要组成部分，还会通过一系列精细的过滤手段，如去重（利用 SimHash 技术）、段落分析以及识别原创和有价值的内容等，对这 1000 个候选文档进行进一步的筛选和优化，最终目的是将这 1000 个候选项精炼成用户眼前所见的 “10 个蓝色链接” 或 “蓝色环”。

关于铅笔的文档，在当前的发布列表中排名第 132 位。如果没有其他系统的进一步介入，那么这将是它在搜索结果中的最终位置。

Superroot: 从千中选优，打造 “蓝色环”

然而，Superroot 系统并不会让事情就此定格。它的任务是将 “绿色环” 中的 1000 个文档重新排序，通过更加精确和细致的算法，将这庞大的数量精确地缩减到仅包含 10 个结果的 “蓝色环”。

在这个过程中，Twiddlers 和 NavBoost 等系统扮演着关键角色，它们负责执行具体的筛选和排序任务。尽管可能还有其他系统也参与其中，但由于信息有限，我们无法一一详述其具体细节。

图 3：Mustang 生成 1,000 个潜在结果，随后由 Superroot 将这些结果筛选至 10 个最终结果。

尽管 “谷歌咖啡因（Caffeine）” 这一名称仍被提及，但其最初作为独立系统的形式已不复存在，仅作为历史记忆保留。
如今，谷歌构建了一个庞大的微服务架构，这些微服务紧密协作，共同为网页文档生成各种关键属性。这些属性不仅是不同排名和重排系统的核心信号，还助力神经网络模型进行更精准的预测。

过滤器中的多面手：Twiddler 系统

当前，谷歌正运用着成百上千个 Twiddler 系统，它们的作用类似于 WordPress 插件，但专注于搜索引擎内部的优化任务。每个 Twiddler 都肩负着特定的过滤使命，这种模块化设计不仅简化了创建过程，还避免了直接干预 Ascorer 中复杂排名算法的必要性，后者一旦修改，可能引发连锁反应，需要周密的规划与编程工作。

Twiddler 系统以其灵活性和独立性著称，它们可以并行或顺序工作，彼此间无需知晓对方的操作细节。根据工作特性的不同，Twiddler 大致分为两类：

PreDoc Twiddlers：这类 Twiddler 能够高效处理大规模的 DocID 集合，因为它们对额外信息的需求极低，从而在处理初期就能显著缩减发布列表的条目数量，为后续步骤打下基础。
“Lazy” 类型 Twiddlers：相比之下，这类 Twiddler 则更为复杂，它们需要额外信息，如从PerDocData数据库中提取的数据，这使得处理过程更加耗时。

因此，它们通常在 PreDoc Twiddlers 完成初步筛选后才介入。

通过这种分阶段处理策略，谷歌极大地优化了计算资源的利用效率，节省了宝贵的时间。

不同的 Twiddler 对文档的最终排名产生着直接或间接的影响。有的 Twiddler 通过调整信息检索（IR）评分来提升或降低文档的排名权重；而另一些则直接干预排名位置。例如，对于新入库的文档，一个专注于提升新文档排名的 Twiddler 可能会将 IR 评分大幅提升 1.7 倍，从而将文档从第 132 位迅速推升至第 81 位。

此外，为了提升搜索结果页面（SERP）的多样性，有 Twiddler 会专门降低内容相似文档的权重，这进一步促使我们的铅笔文档排名上升了 12 位，达到第 69 位。更有甚者，一个专门限制特定查询下博客页面数量的 Twiddler，将我们的文档排名进一步提升至第 61 位。

图 4：两种类型的 Twiddler—— 超过 100 个 Twiddler 用于减少潜在搜索结果，并对这些结果进行重新排序。

在我们的页面中，CommercialScore属性得到了零分（即被标记为 “是”），这表示 Mustang 系统在分析过程中检测到了销售意图。谷歌可能注意到，“铅笔” 搜索后经常会跟随如 “买铅笔” 这样的具有明确商业购买意图的搜索，这表明用户有交易倾向。因此，一个专门识别并响应此类意图的 Twiddler 会介入，通过添加相关商业结果，将我们的页面排名提升了 20 位，最终排在第 41 位。

随后，另一个 Twiddler 启动，实施了所谓的 “页面三惩罚”，旨在将疑似垃圾内容的页面排名限制在搜索结果的前三页之内（即最大排名为第 31 位）。这一限制由BadURL-demoteindex属性控制，该属性为页面排名设定了上限。类似DemoteForContent、DemoteForForwardlinks和DemoteForBacklinks等属性也用于实现内容降级的目的。因此，在排除了我们上方三个被降级的文档后，我们的页面排名进一步上升至第 38 位。

尽管我们的文档有可能受到降级的影响，但为了简化讨论，我们假设它未受影响。接下来，我们考虑一个通过评估嵌入内容来判断我们铅笔页面与网站主题相关性的 Twiddler。由于我们的网站专注于书写工具，这一特点对我们极为有利，导致另外 24 个与主题关联度不高的文档受到负面影响。

举个例子，假设有一个内容多样化的价格比较网站，其中有一页专门介绍铅笔，虽然内容丰富，但因其主题与网站整体内容大相径庭，该页面可能会因此 Twiddler 而被降级。

siteFocusScore和siteRadius等属性反映了页面内容与网站主题的紧密程度。得益于此，我们的信息检索（IR）评分再次获得提升，而其他一些结果则因相关性较低而排名下降，最终我们的页面排名跃升至第 14 位。

正如之前所述，Twiddler 的功能极为广泛且灵活。开发人员可以不断尝试新的过滤规则、调整乘数或设置特定的排名限制，甚至能够精确控制某个结果在页面上的具体排列顺序。

值得注意的是，一份谷歌内部泄露的文件发出警告，指出某些 Twiddler 功能应由专家谨慎使用，并在与核心搜索团队充分沟通后实施。

“即便你认为自己已经洞悉了这些系统的运作奥秘，相信我，那也只是冰山一角。我们自己也尚未能完全参透。”—— 摘自泄露的《Twiddler 快速入门指南 – Superroot》文档

此外，还有一类专门的 Twiddler，它们负责创建注释并将这些注释附加到文档 ID（DocID）上，从而在搜索结果页面（SERP）中直观展示。比如，它们可能会在摘要中嵌入图片，或动态调整标题及描述内容，以优化用户体验。

如果你在疫情期间好奇为何你所在国家的卫生部门（比如美国的卫生与公共服务部）在 COVID-19 相关搜索中总是稳居榜首，答案很可能就藏在一个特定的 Twiddler 里。这个 Twiddler 通过识别查询语言和国家代码，利用特定的算法提升了官方资源的排名权重。

虽然用户对于 Twiddler 如何具体调整搜索结果排序的控制力有限，但了解其工作机制无疑能帮助我们更好地理解排名的波动或那些看似 “难以捉摸” 的排名现象。因此，定期检查 SERP，并留意结果类型的多样性显得尤为重要。

举例来说，你是否发现，无论搜索词如何变化，论坛讨论和博客文章的数量在搜索结果中似乎总是保持不变？你可以进一步思考：这些结果中，交易性、信息性或导航性的内容各占多少比例？相同的域名是否会频繁出现在不同但相近的搜索查询结果中？

如果你观察到搜索结果中在线商店的数量寥寥无几，那么试图通过类似商店网站来提升排名可能并非明智之举。相反，将重心转向创作更多信息丰富的内容可能更为有效。当然，在做出决策之前，我们还需深入探讨 NavBoost 系统的作用，因为它同样在搜索结果排序中扮演着重要角色。

谷歌的质量评估员和 RankLab

谷歌在全球范围内聘请了数千名质量评估员，他们负责审视特定的搜索结果，并在新算法或过滤器正式启用前进行初步测试。谷歌方面澄清：“这些评估结果并不直接决定搜索排名。” 尽管此言非虚，但这些评估在间接层面对排名产生了显著影响。

评估员的工作流程大致如下：他们会接收到网址或搜索短语（即待评估的搜索结果），并在移动设备上回答一系列预设问题。例如，他们可能会被问及：“这篇内容的作者是谁？写作时间是什么时候？作者在其领域内是否具备专业知识？” 这些回答随后会被记录下来，作为训练机器学习算法的重要数据。算法通过分析这些数据，能够辨别出哪些页面质量上乘、值得信赖，而哪些则相对逊色。

这一机制的核心在于，搜索排名的标准并非由谷歌搜索团队直接设定，而是通过深度学习技术，从人工评估中提炼出模式与规律。为了更直观地理解，我们可以设想一个场景：如果大众普遍认为，包含作者照片、全名及 LinkedIn 个人简介链接的内容更具可信度，那么缺乏这些元素的页面在可信度上自然会大打折扣。当神经网络在训练过程中接触到这些特征及相应的评估结果时，它会将这些特征视为影响排名的关键因素。经过多轮正面验证，通常这一过程会持续至少 30 天，网络可能会开始将这些特征作为重要的排名信号。因此，具备这些特征的页面可能会获得排名上的优势，而缺失这些特征的页面则可能面临排名下降的风险。

值得注意的是，尽管谷歌官方可能并未特别强调作者信息的重要性，但泄露的信息显示，如 isAuthor 等属性以及通过 AuthorVectors 实现的 “作者指纹识别” 技术，实际上能够识别并区分出作者独特的语言风格（即个体用词和表达方式）。

评估员的反馈会被汇总成 “信息满意度”（IS）评分。尽管参与评估的人数众多，但 IS 评分主要集中应用于少数网址。对于其他具有相似特征的页面，系统会采用外推的方式，利用这些评分来辅助排名决策。谷歌指出：“许多文档可能并未获得大量点击，但它们依然具有重要意义。” 当外推方法不适用时，系统会将相关文档自动提交给评估员进行评分。

在提及 “黄金” 一词时，它常与质量评估员相关联，暗示着可能存在某种文档或文档类型的最高标准。可以合理推测，符合评估员期望的文档有可能达到这一黄金标准。此外，某些特定的 Twiddler 可能会为被视为 “黄金” 级别的 DocID（文档标识符）提供显著的排名提升，使其跻身搜索结果的前列。

值得一提的是，这些质量评估员往往并非谷歌的全职员工，他们可能通过外部公司参与工作。而谷歌的专家则在 RankLab 中致力于实验与研发，不断推出新的 Twiddler，并评估其是否能有效提升搜索结果的质量，或是仅仅起到过滤垃圾信息的作用。经过严格验证并证明有效的 Twiddler 将被整合到 Mustang 系统中，该系统利用复杂、计算密集型且相互关联的算法，对搜索结果进行精细化的处理与优化。

但是用户想要什么？

NavBoost 可以解决这个问题！

我们的铅笔文档尚待进一步完善。在 Superroot 系统中，NavBoost 这一核心系统占据了决定搜索结果排序的关键位置。NavBoost 采用 “切片” 技术，以灵活管理移动端、桌面端及本地搜索等多样化的数据集。

尽管谷歌官方坚称未将用户点击数据纳入排名考量，但 FTC 文件中一封内部邮件的披露却揭示了点击数据处理过程的保密性要求，这在一定程度上引发了外界遐想。

这并不意味着谷歌的做法存在不妥，其否认背后实则蕴含双重考量。首要的是，一旦承认使用点击数据，可能会触发媒体对隐私问题的强烈关注，将谷歌置于 “数据巨头” 的舆论漩涡中，被指责为无孔不入地追踪用户在线行为。然而，实际上，点击数据的运用旨在获取具有统计学意义的信息，以优化搜索体验，而非针对个体用户的监控。尽管数据保护倡导者可能对此持保留意见，但这一解释无疑为谷歌的否认立场提供了合理解释。

FTC 文件的记载进一步印证了点击数据在排名中的实际作用，而 NavBoost 系统在此过程中更是频频被提及（仅在 2023 年 4 月 18 日的听证会上就被提及了 54 次）。此外，回溯至 2012 年的官方听证会，也已明确指出了点击数据对搜索排名产生的实际影响。

图 5：自 2012 年 8 月以来（！），官方已经明确点击数据会改变排名。

研究表明，搜索结果中的用户点击行为以及网站或网页的流量情况都会对其在搜索引擎中的排名产生影响。谷歌能够直接在搜索结果页面（SERP）上监控和评估用户的搜索行为，包括搜索操作、点击选择、重复搜索以及重复点击等行为。

有一种观点认为，谷歌可能通过其自家的谷歌分析（Google Analytics）工具来推测域名的流量数据，这导致部分用户选择避免使用该系统。然而，这一观点存在局限性。首先，Google Analytics 并不提供对所有交易数据的全面访问权限，限制了其推测能力的准确性。更为关键的是，由于超过 60% 的用户使用的是谷歌 Chrome 浏览器（其用户数量已超过三亿），谷歌能够收集到海量的网络活动数据。这使得 Chrome 在分析网络动态中扮演着至关重要的角色，这一点在相关听证会上也得到了明确强调。此外，Core Web Vitals 的数据也是通过 Chrome 进行收集的，并最终汇总为 “chromeInTotal” 值，用于评估网站的性能。

关于 “监控” 的负面舆论是谷歌否认使用点击数据的一个原因。另一个原因是，担心评估点击和流量数据可能会激励垃圾邮件发送者和骗子使用机器人系统伪造流量，从而试图操控搜索排名。虽然谷歌的这种否认态度可能会让人感到沮丧，但其背后的担忧和理由却是可以理解的。

在存储的指标中，包括了 “badClicks”（坏点击）和 “goodClicks”（好点击）等评估标准。这些评估通常会考虑搜索者在目标页面上的停留时间、他们浏览了多少其他页面以及这些页面的浏览时间（这些数据来源于 Chrome）
如果搜索者在搜索结果中短暂偏离后又迅速返回并点击了其他结果，这种行为可能会增加 “坏点击” 的数量。而在一个搜索会话中，最后一次被认为是 “好” 点击的搜索结果则会被记录为 “lastLongestClick”（最长点击）。
为了确保数据的准确性和防止被操控，这些数据会经过压缩处理以在统计上进行标准化。
如果某个页面、一组页面或一个域名的首页通常具有良好的访问指标（这些数据同样来源于 Chrome），那么这将会通过 NavBoost 产生积极效果。通过分析在一个域名内或跨域名的流动模式，甚至可以评估网站导航的用户引导效果。
由于谷歌能够监测整个搜索会话过程，因此在极端情况下它甚至可能识别出与搜索查询完全不同的文档也适合该查询。例如如果搜索者在搜索过程中离开了他们最初点击的域名并访问了另一个域名（可能是通过该域名中的链接跳转过去的）并在新域名上停留较长时间那么这个作为搜索 “结束” 的文档在未来就有可能通过 NavBoost 被推到更前面的位置前提是它在选择范围内。当然这需要大量搜索者提供有力的统计信号作为支持。

接下来我们来详细分析搜索结果中的点击情况。在每个搜索结果页面（SERP）中不同排名位置的结果都有一个平均预期点击率（CTR）作为性能评估的基准。例如根据 Johannes Beus 在今年柏林 CAMPIXX 会议上的分析结果显示排名第一的自然搜索结果平均可以获得 26.2% 的点击率而排名第二的结果则只能获得 15.5% 的点击率。

如果某个搜索结果的实际点击率显著低于预期值那么 NavBoost 系统会记录这一差异并据此调整该结果的排名位置（即 DocID 的排名）。相反如果某个结果的实际点击量在历史上一直明显多于或少于预期值 NavBoost 也会相应地调整该文档的排名位置以确保搜索结果的相关性和准确性（见图 6 所示）。

这种方法是合理的因为点击率从本质上反映了用户对搜索结果相关性的评价这些评价又是基于搜索结果的标题、描述以及域名等因素得出的。这一概念在谷歌的官方文档中也有详细说明（如图 7 所示）从而进一步证明了其合理性和科学性。

图 6：如果 “预期 _CRT” 与实际值有显著差异，则排名会相应调整。（数据源：J. Beus，SISTRIX，带编辑覆盖）

图 7：谷歌演示文稿中的幻灯片（来源：审判证据 - UPX0228，美国及原告州诉谷歌公司）

由于我们的铅笔文档刚刚发布不久，因此目前还缺乏具体的点击率（CTR）数据。对于这类无数据的新文档，系统是否会忽略 CTR 偏差尚不明朗，但从其融入用户反馈的设计初衷来看，这种可能性是存在的。另一种推测是，系统可能会依据其他相关指标对 CTR 进行初步估算，这与谷歌 Ads 中处理质量因子的方式有异曲同工之妙。

SEO 专家和数据分析师在长期实践中发现，一旦他们全面监控点击率，便会注意到一个规律：当某个文档首次跻身搜索结果前 10 名，而其实际 CTR 显著低于预期时，其排名往往会在几天内（具体时间取决于搜索频率）出现下滑。
相反，若 CTR 远高于预期，则排名有望攀升。面对 CTR 表现不佳的情况，快速调整文档的摘要信息（如优化标题和描述）以吸引更多点击至关重要，否则排名下滑后恢复难度将大幅增加。这一现象被普遍视为系统测试机制的一部分，即文档若表现优异则稳固高位，若不符用户期待则可能被剔除。至于这是否与 NavBoost 系统直接相关，目前尚无确凿证据。

根据泄露的信息，谷歌在估算新页面信号时，似乎高度依赖于页面 “环境” 中的海量数据。例如，新页面在初期可能会继承主页的 PageRank（称为 HomePageRank_NS），直至其建立起自己的 PageRank。同时，pnavClicks 可能用于预测通过导航链接到新页面的点击概率。

鉴于计算和更新 PageRank 的复杂性及高计算成本，谷歌可能采用了 PageRank_NS 指标作为过渡方案。“NS” 代表 “最近种子”，意味着相关页面共享一个临时的 PageRank 值，该值会根据需要长期或短期地应用于新页面。

此外，邻近页面的信号也可能对其他关键指标产生影响，助力新页面在缺乏高流量或反向链接的情况下提升排名。值得注意的是，许多信号的反映并非即时，而是存在一定的延迟。

谷歌在听证会上展示了 “新鲜度” 在搜索结果中的实际应用。以搜索 “Stanley Cup” 为例，平时搜索结果多聚焦于这一著名奖杯的介绍，但在斯坦利杯冰球比赛期间，NavBoost 会根据搜索和点击行为的变化，优先展示与比赛紧密相关的信息。
这里的 “新鲜度” 并非指文档的新旧，而是指搜索行为和兴趣点的动态变化。谷歌每天处理的搜索行为超过十亿次，每一次搜索和点击都在为谷歌的学习提供宝贵数据。这意味着，谷歌对搜索意图的捕捉和响应远比我们想象的细腻和及时，而非仅仅局限于对季节性变化的简单预测。

最新数据显示，文档的点击指标会被存储并评估长达 13 个月之久（每年有一个月的数据与前一年重叠，以便进行对比分析）。鉴于我们的假设域名拥有强大的访问指标和显著的广告直接流量，作为知名品牌（这是一个正面信号），我们的新 “铅笔” 文档自然能够从前期的成功页面中获益。因此，NavBoost 系统成功将我们的排名从第 14 位提升至第 5 位，使我们跻身 “蓝色环” 或前 10 名之列。这前 10 名的文档将与其他九个自然搜索结果一同被转发至谷歌的网络服务器。

值得注意的是，谷歌实际提供的个性化搜索结果并不像人们普遍预期的那样丰富。测试表明，通过模拟用户行为并进行相应调整往往能带来更优化的搜索结果，而非单纯依赖于评估个别用户的偏好。
这一发现极具启示意义 —— 神经网络的预测能力已经超越了我们的个人浏览和点击历史记录所能提供的个性化程度。当然，对于特定偏好（如对视频内容的喜好），个性化搜索结果仍会予以体现。

谷歌网络服务器：一切终结与新开始的地方

谷歌网络服务器（GWS）是构建和呈现搜索结果页面（SERP）的核心，这个页面上包含了诸多元素：十个蓝色链接的自然搜索结果、广告、图片、谷歌地图视图、“人们也在问” 板块等。

为了优化这些元素在有限页面空间内的布局，谷歌采用了 Tangram 系统。该系统负责计算每个元素所需的空间大小，并智能决定在给定的 “框架” 内能容纳多少结果。紧接着，Glue 系统会将这些元素精确无误地安置到它们应有的位置上，确保页面既美观又高效。

目前，我们的 “铅笔” 文档在自然搜索结果中排名第五，但值得注意的是，CookBook 系统拥有在搜索结果展示前的最后一刻进行微调的能力。这个系统内部集成了 FreshnessNode、InstantGlue（能在 24 小时内快速反应，但通常会有约 10 分钟的延迟）和 InstantNavBoost 等组件。这些组件如同 “幕后英雄”，在最终页面呈现之前，迅速生成与搜索结果时效性紧密相关的信号，并可能据此对排名进行动态调整。

想象一下这样的场景：一档关于 Faber-Castell 品牌 250 周年纪念以及 “铅笔” 这一关键词的德国电视节目突然热播。在节目播出的几分钟内，成千上万的观众可能会迅速拿起他们的智能手机或平板电脑进行搜索。这时，FreshnessNode 便会敏锐地捕捉到 “铅笔” 搜索量的激增，并智能地分析出用户的搜索意图是寻求信息而非直接购买。基于这一判断，系统会相应地调整搜索结果的排名。

具体来说，InstantNavBoost 会立即采取行动，将所有与交易相关的结果暂时移除，转而用更加信息丰富、与当前热点紧密相关的结果来替代。同时，InstantGlue 也会迅速更新 “蓝色环” 内的结果排序，导致我们原本可能以销售为导向的文档因为不够相关而被更合适的结果挤出前列。

图 8：一档关于 “铅笔” 一词起源的电视节目，以庆祝德国知名铅笔制造商 Faber-Castell 成立 250 周年。

尽管我们假设的排名故事以遗憾暂告段落，但它深刻揭示了一个核心真理：获得并维持高排名，绝非仅凭出色的文档或高效的 SEO 策略就能一蹴而就。

排名是一个多因素交织的复杂结果，它受到搜索行为波动、新文档信号的融入以及外部环境不断变化等多重影响。因此，认识到高质量文档与优化的 SEO 策略仅是排名动态系统中的一环，且至关重要，这一点尤为重要。

搜索结果的生成过程犹如精密的机械运作，背后涉及数以千计的信号和复杂算法。SearchLab 通过 Twiddler 进行的实时测试，甚至可能间接影响到文档的反向链接权重，从而引发连锁反应。

这些文档的命运可能因此发生转折，它们可能被从 HiveMind 这一核心存储系统迁移到优先级较低的存储层级，如 SSD 或 TeraGoogle，这一变动将直接削弱或消除它们对排名的正面影响，即便文档内容本身并未有丝毫改动。

谷歌的 John Mueller 曾明确指出，排名的下滑并不总是意味着你的策略有误。用户行为模式的转变、新兴趋势的涌现或是其他外部因素，都可能成为影响排名表现的不确定因素。

比如，当用户开始倾向于寻求更详尽的信息或偏好简短明了的文本时，NavBoost 系统便会迅速响应，调整排名以匹配这些新的搜索偏好。然而，值得注意的是，这种调整并不会触动 Alexandria 系统或 Ascorer 中的 IR 评分，后者更多地是基于文档本身的固有质量进行评估。

这一切都向我们传达了一个重要启示：SEO 工作应当置于更广阔的视角下进行审视。如果文档内容与用户的搜索意图存在偏差，那么即便是再精妙的标题优化或内容调整，其效果也会大打折扣。

更为关键的是，Twiddler 和 NavBoost 等系统对排名的干预力度，往往超越了传统的页面优化手段，包括页面内、页面上以及页面外的优化措施。一旦这些系统对文档的可见性进行了限制，那么无论我们在页面上如何努力优化，都可能难以扭转乾坤。

但请放心，我们的故事并不会就此陷入低谷。关于铅笔的电视节目效应终究只是短暂的喧嚣。随着搜索热度的逐渐退却，FreshnessNode 的临时影响也将烟消云散，我们的排名有望重新回升至第五位。

当我们重新开始收集点击数据时，根据 SISTRIX 的 Johannes Beus 的预测，第五位的平均点击率（CTR）大约在 4% 左右。只要我们能够稳定保持这一 CTR 水平，我们就有信心继续稳坐前十的宝座。未来可期，一切都将朝着更好的方向发展。

SEO 的关键要点

流量来源多元化：确保你的网站流量不仅仅依赖于搜索引擎，而是从多种渠道汇聚而来，包括社交媒体平台等非传统渠道，这些都能带来宝贵的访问量。即便谷歌的爬虫无法触及某些页面，它依然能通过 Chrome 浏览器或直接 URL 追踪到你的网站访客数量。
强化品牌与域名认知：不断提升你的品牌或域名知名度至关重要。品牌越为人熟知，用户在搜索结果中点击你网站的几率就越大。通过优化针对多种长尾关键词的排名，可以有效提升域名的可见度。据透露，“站点权威性” 可能是影响排名的一个关键因素，因此增强品牌声誉对提升搜索排名大有裨益。
深入理解搜索意图：为了更好地满足访客需求，深刻理解他们的搜索意图及路径至关重要。利用 Semrush、SimilarWeb 等工具分析访客来源及其行为，审视这些域名是否提供了你页面所缺失的信息，并据此逐步补充，使你的网站成为访客搜索路径上的 “终极目的地”。谷歌能够追踪相关搜索会话，精准把握搜索者的需求与历史。
优化标题与描述，提升点击率：审视并调整当前标题与描述的吸引力，通过大写关键词汇使其在视觉上更为突出，可能有助于提高点击率。标题在决定页面排名中扮演关键角色，因此应优先考虑其优化。
评估隐藏内容效果：若采用手风琴等形式隐藏重要内容，需留意这些页面的跳出率是否偏高。当访问者无法迅速定位所需信息，需多次点击时，可能产生负面点击信号。
精简无效页面：对于长期无人问津或排名不佳的页面，应考虑删除，以避免对邻近页面造成不利影响。新文档若发布在 “劣质” 页面群组中，其表现机会将大打折扣。“deltaPageQuality” 指标用于衡量域名或页面集群中单个文档的质量差异。
优化页面布局：清晰的页面结构、流畅的导航以及令人印象深刻的首页设计，对于跻身排名前列至关重要，这往往得益于 NavBoost 等系统的助力。
增强用户互动：延长访客在网站上的停留时间，能发出积极的域名信号，惠及所有子页面。致力于成为访客的 “一站式” 信息源，提供全面信息，减少其他搜索需求。
深化而非泛化内容：更新并丰富现有内容往往比不断创建新内容更为有效。“ContentEffortScore” 评估文档创作难度，高质量图片、视频、工具及独特内容均对此有正面贡献。
标题与内容一致：确保标题准确概括后续内容，利用文本向量化等先进技术进行主题分析，较单纯词汇匹配更为精准地判断标题与内容的一致性。
利用网页分析工具：借助谷歌 Analytics 等工具，有效追踪访客互动情况，及时发现问题并予以解决。特别关注跳出率，若异常偏高，需深入调查原因并采取措施改善。谷歌通过 Chrome 浏览器获取这些数据，实现深度分析。
聚焦低竞争关键词：初期可优先针对竞争较小的关键词进行优化，更易于建立正面用户信号。
构建高质量反向链接：重视来自 HiveMind 中最新或高流量页面的链接，因其传递的信号价值更高。避免链接至流量稀少或参与度低的页面。同时，来自同国别且内容相关的反向链接更具优势。警惕 “有毒” 反向链接，以免损害评分。
关注链接上下文：在评估链接价值时，不仅要考虑锚文本本身，还需关注其前后文本的自然流畅性。避免使用 “点击这里” 等通用短语，因其效果已被证实不佳。
理性看待 Disavow 工具：该工具用于屏蔽不良链接，但据泄露信息显示，它并未被算法直接采用，更多用于文档管理和反垃圾邮件工作。
强调作者专业性：若使用作者引用功能，应确保其在外界享有良好声誉并具备专业知识。少数高资质作者往往优于众多低信誉作者。谷歌能根据作者的专业知识评估内容质量，区分专家与非专家。
创作独特、实用、全面的内容：对关键页面尤为重要，展现你的专业深度，并提供有力证据支持。尽管可以聘请外部人员填充内容，但若缺乏实质质量和专业知识支撑，则难以企及高排名目标。