进阶第 10 章：怎样设计一轮受控的 GEO 改进实验

一次改七件事，复盘会上没有人能回答为什么

诊断完成以后，麦序科技列出了一张很有气势的整改清单：改官网定位、换产品介绍、重写接口文档、补案例、修页面渲染、投行业文章，再统一公开账号。

市场负责人认为，动作越多，AI 回答发生变化的机会越大。

数据分析人员周舟只问了一句：“如果三个月后回答变好了，我们准备把功劳算给哪一步？如果没有变化，又准备否定哪一步？”

会议室安静了下来。

七件事一起做，可能是一轮必要的业务整改，却不是一轮容易解释的实验。网站、外部来源、平台入口和自然时间同时变化，最后即使得到一个漂亮结果，团队也不知道下一轮该重复什么。

于是，麦序没有把所有整改都包装成“GEO 实验”。团队先完成必须做的事实与技术修复，再从中挑出一个证据较强、风险较高、企业能够控制的原因，单独观察一轮。

受控实验控制的不是外部生成式平台。企业无法命令平台何时读取页面、怎样组织回答，也无法要求它必须展示某个来源。团队真正能控制的是：这一轮改什么、不改什么，用哪些原问题复测，在什么情况下承认结论失效。

为什么第一轮偏偏选接口问题

基线里有一条问题是：

Q-033：麦序科技能否连接现有收银系统，兼容性怎样核验？

六个接口重点有效回答中，四个出现了“全部都能接”“大多数主流系统通常都支持”一类绝对化说法。客户如果据此进入采购，很可能直到实施前才发现品牌、版本、部署方式和开放能力并不满足条件。

这个问题适合作为第一轮，不是因为它最容易做出好看的数字，而是因为它同时满足三个条件。

第一，错误会影响真实采购，修复价值高。第二，团队已经找到较具体的证据：一篇旧合作稿和多个转载仍在传播宽泛说法，当前接口说明却藏在帮助中心深处。第三，企业能够行动：统一当前说明、标记旧资料、连接主版本并联系转载更正。

团队没有选择“品牌权重不够”作为实验原因。这个说法听起来专业，却没有公开定义，也没有一个清楚的企业动作与之对应。无法说明什么证据支持、什么现象能够反驳的判断，不适合直接进入实验。

这一步很关键：实验不是从“我们想发什么内容”开始，而是从“哪一个原因假设值得付出下一轮成本”开始。

先把猜测写成能够被反驳的假设

麦序最初写的是：

优化接口内容，提升 AI 对麦序科技的正确认知。

这句话无法执行，也几乎不会失败。只要回答发生一点变化，任何人都可以事后解释为“认知提升”。

周舟把它改成了一段可以观察、也可能被反驳的话：

如果企业统一当前接口说明，明确标记旧资料，并让核心页面连接到当前主版本，那么在相同接口风险问题的后续观察中，绝对化接口说法可能减少，按品牌、版本和开放能力核验的条件可能增加，当前接口页也可能出现在部分可见来源中。

这个假设同时留下了反证：错误仍然稳定出现；回答继续主要使用冲突旧来源；接口问题与本轮没有直接修改的参照问题发生相同变化。出现这些情况时，团队就不能把结果简单归功于接口页。

注意这里用了“可能”，但不是含糊。后面跟着的错误表达、核验条件和来源版本，都是能够逐条查看的现象。谨慎语言和模糊语言并不是一回事。

一张填好的实验卡，冻结整轮边界

正式动手前，团队把决定压缩成一张已经填好的实验卡。它不是为了增加表格，而是为了防止执行到一半悄悄换目标。

项目	麦序接口实验的决定
实验编号	EXP-IF-01
原因假设	当前接口主版本入口弱，旧合作稿及转载仍在传播宽泛说法
预期现象	绝对化接口说法减少，核验条件增加，部分回答展示当前接口页
可能反证	冲突说法继续稳定出现；主要来源仍是其他页面；参照问题同步变化
实验问题	三个接口风险问题
观察参照	两个人工确认问题
核心观察	接口事实、适用条件、来源版本和不确定表达
时间窗口	当前页面稳定公开后五个工作日
停止条件	新接口页事实错误、客户投诉增加或页面无法稳定访问

真正重要的不是字段数量，而是每个决定都在看到结果以前写下。若团队等到复测结束后才挑指标、删问题或改变停止时间，实验就会向期望答案倾斜。

图里没有“证明成功”这一步。实验只能增加或削弱对某个解释的信心，然后支持下一次决定。

本轮改什么，也明确不改什么

这轮真正发生的改动只有四组，而且都服务于“接口事实一致性”这个原因簇：

1. 发布一份当前接口主版本，说明采购前需要核验系统名称、版本、部署方式、开放接口和所需数据；
2. 在旧合作稿增加历史版本提示，并连接当前接口页；
3. 完成两个重要转载的更正，另一个未回复的转载继续保留在风险清单；
4. 让三个核心页面连接当前接口说明，避免客户只能从旧稿理解能力范围。

团队同时写下本轮不做的事：不改公司名称，不改产品定位，不调整案例数字，不增加新产品，不批量发布外部文章。

“不改什么”不是消极清单，而是解释能力的边界。如果实验窗口内又改了产品名称、官网首页和十篇外部稿件，后来就无法判断接口回答的变化来自哪一组动作。

现实业务有时必须同时完成大规模改版。可以做，但应如实称为“综合发布”，结论只能评价整组变化，不能再说某个标题、某篇文章或某个链接单独产生了效果。

技术修复为什么必须先于内容观察

新接口页最初有一个渲染问题：浏览器执行脚本后能看到完整内容，但部分访问条件下，初始返回只有页面外壳。此时直接开始内容实验，观察不到变化并不能说明内容无效，也可能只是页面没有稳定公开。

团队把技术访问修复单独记为前置事件。服务器初始返回标题、摘要、适用对象、核验流程和更新时间，交互功能仍由脚本增强。未登录访问、手机网络和脚本失败时，都能读取核心说明。

这里容易出现两种错误。

一种是技术修好以后，立刻宣布 GEO 成功。技术可访问只是让实验对象真实存在，不等于外部回答已经变化。另一种是复测没有变化，就说技术修复无效。即使生成式回答暂时没有变化，真人能稳定打开页面、客户能核验当前事实，本身也是业务成果。

所以技术修复有自己的验收，内容实验有自己的观察，两者可以相关，但不能相互冒领结论。

“已经发布”不等于实验变量真的上线

接口页上线当天，小陈从官网入口重新走了一遍，发现一个核心答案页仍然指向旧 PDF。发布后台显示成功，但真人沿着实际路径走，仍可能进入过期说明。

团队没有把发送更正邮件、提交发布工单或后台显示“已完成”当成事实。他们逐项确认：

• 页面正文、日期和链接能否被普通访客看到；
• 手机端能否正常阅读，关键内容是否被交互遮住；
• 状态码、跳转和规范网址是否正确；
• 初始返回是否包含核心正文；
• 缓存与旧地址是否仍然展示过期版本；
• 转载更正究竟已经公开，还是仍在等待对方处理。

旧 PDF 修正后，团队重新记录公开时间，五个工作日的实验窗口从这个时点开始。否则所谓“实验后”其实混入了一段变量尚未完整上线的时间。

一轮实验至少要先证明企业自己的变化真实发生。连改动是否公开都说不清，后面再精细的统计也没有意义。

三个实验问题，为什么还要保留两个观察参照

实验组由三个接口风险问题组成，观察同一事实在不同问法下是否仍被过度概括。团队没有只重复 Q-033，因为真实客户可能问“能不能直接接”“现有系统要不要更换”“兼容性怎样确认”。这些问法相关，但不是同一句话的机械改写。

另外保留两个“生产建议是否需要人工确认”的问题作为观察参照。本轮没有针对它们增加新的实验内容。

这里故意不用“严格对照组”这个词。在线生成式平台不是企业能够隔离的实验室：平台可能更新，公开信息可能自然变化，接口事实修复也可能通过页面连接间接影响其他问题。两个参照问题只能帮助判断是否出现了更广泛的同期变化，不能单独证明因果。

如果接口问题明显变化，而参照问题基本不变，并且新接口页开始成为可见来源，企业动作与结果的关联会更强。若两组问题同步变化，就要提高对平台时间因素或整体信息修复的警惕。

没有合适参照时，也可以做前后复测，只需在结论中承认证据更弱。随便挑一个无关问题凑成“对照组”，比没有参照更容易误导。

五个工作日，不按“问到满意”为止执行

团队沿用基线里的平台入口、问题文本、账号条件、新会话规则和重复次数。执行顺序按问题批次交替安排，而不是第一天只测一个入口，最后一天再测另一个入口。

这样做是为了减少时间位置与平台位置完全重合。若某个平台恰好在第三天更新，至少不会让全部接口问题都集中在更新前或更新后。

每次运行都保存完整回答、可见来源、时间、入口、状态和观察编号。第一次回答正确也不会停止；品牌没有出现时，也不会继续追问直到出现。核心前后比较最终各得到六个有效回答，失败或不满足条件的运行仍保留在运行记录中，不悄悄从历史里消失。

计划样本和追加风险样本始终分开。若某次回答突然给出严重错误，团队可以为了保护业务追加观察，但追加结果不能混进原计划分母，再用来制造更有利或更惊人的比例。

某个平台在窗口内更换入口时，执行人员先判断核心条件是否仍可复现。仅界面名称变化，可以标记差异后继续；检索模式、来源展示或回答机制发生实质变化，则标为有限可比，必要时为该入口建立新基线。

实验中途出现事实错误，为什么宁可中断

实验卡上的停止条件不是摆设。若团队在第三天发现当前接口页把一个版本写错，正确动作不是“先别动，等五天结束再修”。

当前事实错误、客户投诉或页面无法稳定访问，都必须立即处理。团队保存已经完成的样本，修正页面，重新确认公开时间，并把原实验标记为中断。修复后的观察属于新一轮，不能与前半段拼成一个完整实验。

这会损失一轮数据，却保护了真实客户，也保护了结论。为了保持实验形式而继续公开错误信息，本身就是错误的优先级。

普通的新想法则进入下一轮候选。例如销售中途发现新的价格问法，不应临时塞进接口实验，再与没有对应基线的结果一起汇报。

实验纪律有两个方向：不能为了好看随意加动作，也不能为了完整拒绝必要修复。

原问题复测以后，六条回答发生了什么

五个工作日结束，团队先检查前后运行条件和有效回答，再比较完整语义，不只搜索“全部”这个词。

观察面	基线	复测
接口重点有效回答	6 个	6 个
绝对化或过度概括	4 个	1 个
要求按品牌、版本或开放能力核验	少数回答说明	其余 5 个均说明
当前接口页成为可见来源	尚未形成稳定入口	3 个回答展示
未更正旧转载成为可见来源	多次构成冲突风险	1 个回答仍展示
没有可见来源	存在	2 个回答

剩下的一个问题回答没有再说“全部系统”，却写成“大多数通常可以”。如果只做关键词统计，它可能被标为正确；放回采购语境，它仍然绕过了品牌、版本和开放能力，属于过度概括。

来源也不能只数数量。三个回答展示当前接口页，是值得记录的新现象；一个回答仍展示未更正转载，说明旧来源风险没有关闭；两个回答没有可见来源，团队无法据此推断它们使用了哪个页面。

观察参照中的人工确认错误，也从两次减少为一次。这个变化提醒团队：接口问题的改善并不处在完全静止的外部环境里，不能排除整体公开信息修复、平台时间或其他来源变化。

为什么这组结果不能写成“提升百分之七十五”

四个绝对化错误减少到一个，表面上很容易写成“错误率下降 75%”。麦序最终没有这样写。

前后各只有六个有效回答。把四到一换算成精确百分比，会让读者误以为它代表稳定概率。更重要的是，企业无法隔离平台更新、自然时间、其他公开页面以及参照问题同步变化。

团队最后写成：

本轮复测中，接口绝对化错误由四个样本减少为一个，三个回答展示当前接口页；变化与企业统一接口事实和公开来源的方向一致。由于每轮仅六个有效回答，且平台、时间和其他公开信息同时变化，当前证据不能证明本轮动作是唯一原因。未更正转载仍在一条回答中出现，下一轮继续处理并保留原问题观察。

这段话没有削弱成果。它清楚说明了观察到什么、为什么值得继续、还剩什么风险，以及哪些因果不能声称。

一个可信的实验结论，不是让结果听起来最大，而是让下一位决策者知道这份证据究竟能承担多大的判断。

结果最终要进入四条路，而不是只分成功失败

复测结束后，麦序没有给实验盖一个“成功”印章。团队根据证据选择下一步：

1. 继续： 方向得到有限支持，保留当前接口主版本，继续处理未更正转载，并按原问题观察；
2. 调整假设： 如果错误仍在，但来源已经转向其他冲突页面，就把下一轮重点从接口页改为新的来源原因；
3. 停止： 连续观察没有支持证据，反证越来越强，或业务收益不足以覆盖维护成本，就降低优先级；
4. 中断并重建： 页面事实错误、入口实质变化或实验窗口被重大改版污染时，关闭原轮次，修复后重新建立基线。

麦序这一次选择了“继续”，但继续的不是无上限发稿。具体动作只有两个：维护接口主版本，完成最后一条重要旧来源的处理。下一轮若没有新证据，不再扩大外部铺量。

实验价值最终体现在资源决定上。只留下一个分数或一张截图，却没有说明继续什么、停止什么，实验仍然没有闭环。

哪些动作以后不再需要反复做实验

不是每项 GEO 工作都值得建立实验。

修复 404、纠正错误主体、删除虚假承诺、让当前页面能被真人稳定读取、为高变化事实维护主版本，这些首先是基本质量责任。即使外部回答没有立刻变化，也应该完成。

当某个做法在不同问题中反复得到支持，而且企业侧价值明确，可以升级为日常规则。例如麦序发现，接口和价格这类高变化事实都需要当前主版本、清楚日期和旧页面处理。团队不必每次重新证明“过期信息应该更新”。

真正值得实验的，是仍然存在多个合理原因、投入成本较高、结果可能影响资源方向的动作。比如应该先补伙伴联合说明，还是先重建案例证据；应该继续修旧来源，还是转向新的客户问题。

成熟不是实验越来越多，而是团队越来越清楚什么直接做、什么需要验证、什么证据不足以继续花钱。

设计你自己的第一轮时，只回答七个问题

不要先复制麦序的字段数量。先拿出一条已经完成基线与诊断的问题，依次回答：

1. 哪个异常正在影响客户判断或业务安全？
2. 哪个原因有现有证据支持，同时仍允许被反驳？
3. 企业这一轮真正能改变的公开事实、页面或来源是什么？
4. 为了保持解释能力，哪些相邻动作暂时不改？
5. 哪些原问题、入口与执行条件能够复现？
6. 什么现象支持假设，什么现象会削弱它，什么情况必须中断？
7. 结果出来以后，继续、调整、停止和重建分别由什么证据触发？

然后再确认企业侧改动已经真实公开，按冻结条件完成复测，保留全部原始回答和失败记录。

完成标准不是“证明自己做对了”，而是无论结果是否符合期待，团队都能说清这个原因得到多少支持，下一轮资源为什么这样安排。

把什么交给第 11 章

麦序把这轮实验交给报告负责人时，没有只写一句“接口回答改善”。移交材料包括：计划样本、追加风险样本、企业改动事件、两个观察参照、全部原始回答、来源记录、技术失败、入口变化和边界结论。

这些材料会在第 11 章：指标与报告中被重新组织。管理层先看到数据能不能用，再看到客户问题、事实风险、来源变化和需要作出的决定。

如果第 10 章只留下一个百分比，第 11 章就无法解释分母、来源和外部变化；如果第 10 章保留了完整证据链，第 11 章才能写出“方向值得继续，但不能证明唯一因果”这样真正可执行的结论。

这也是受控实验的最终作用：不是制造一次胜利，而是让诊断、公开修复、复测、报告和下一轮决定之间不再断开。

延伸阅读与资料来源

• 美国国家标准与技术研究院发布的生成式人工智能风险管理框架简介强调测量、监控、情境与限制。本章借用这些通用评估原则，不声称能够控制外部模型。
• Aggarwal 等人的论文 GEO: Generative Engine Optimization提供实验观察生成式可见性的研究背景。本章面向企业日常工作，不能达到论文实验环境的全部控制程度。
• Google 的搜索实验与 A/B 测试说明可辅助理解网页实验中保持可访问与避免误导的通用技术注意事项，不代表生成式平台采用相同评估机制。