国内生成式平台进阶观察指南
三个入口给出三种答案,到底应该相信谁
麦序科技完成第一轮 GEO 基线以后,管理层提出了一个很自然的问题:
我们已经观察了三个国内 AI 入口,为什么报告里不能直接写哪个平台最好?
运营负责人林岚把三条回答放到会议屏幕上。
同一个客户问题是:
Q-033:麦序科技能否连接现有收银系统,兼容性怎样核验?
手机聊天入口没有提到麦序科技,只给出一套通用核验方法;网页 AI 搜索入口提到了麦序科技,也展示了几个网页来源,但其中一篇是旧合作稿;办公入口把麦序科技写成“可以自动连接所有主流收银系统”,既出现了品牌,又把能力说过了头。
如果只看品牌有没有出现,办公入口似乎最好。
如果只看来源数量,网页 AI 搜索似乎最好。
如果只看回答是否谨慎,手机聊天入口反而更可靠。
三种判断都抓到了一部分事实,却没有一种能够独自代表“平台好坏”。
真正有用的问题不是“谁赢了”,而是:
- 客户为什么会在这个入口提出这类问题;
- 这个入口完成的是解释、搜索、比较还是办公协作任务;
- 回答里的品牌、事实、来源和不确定表达分别说明什么;
- 哪些差异可以继续追踪,哪些差异从一开始就不能合并;
- 每个入口暴露的问题,应该交给企业的哪个动作。
这就是国内平台进阶观察与“多打开几个网页截图”的区别。
本章继续使用麦序科技教学案例,企业、人物、入口代号、回答和数据均为虚构。国内产品的入口、名称和功能变化较快,具体当前事实统一放在本书的平台观察卡中维护。
六十秒入口观察卡
遇到一个新入口或一次异常回答时,先按下面六步记录,再决定它能否进入基线。
| 顺序 | 现场问题 | 必须留下什么 | 还不清楚时怎样处理 |
|---|---|---|---|
| 1. 身份 | 回答到底产生在哪个产品、端和模式 | 产品名称、最终地址或应用、登录状态、模式、日期 | 暂列探索入口,不与旧记录合并 |
| 2. 任务 | 哪类客户为什么会在这里提问 | 客户角色、原问题、期望完成的决定 | 标记为探索任务,不冒充客户基线 |
| 3. 运行 | 是否形成可分析回答 | 完整回答、拒绝、失败或待人工判断 | 先分类运行状态,再分析品牌与事实 |
| 4. 证据 | 正文、来源和卡片保存是否完整 | 全文、截图、最终网址和视觉关系 | 正文与来源结论分别降级,不补造链接 |
| 5. 可比 | 与过去入口的任务和条件是否仍对应 | 基本可比、有限可比或重新建立基线 | 保留旧序列,说明断点 |
| 6. 动作 | 这条记录真正暴露了什么 | 内容、来源、企业事实、技术或继续观察任务 | 没有证据支持时只记录未知 |
这张卡的作用是先保证观察对象真实、证据完整。后文会用 Q-033 解释每一格怎样判断。
先把“平台”拆成一个真实入口
团队日常说“我们测了某平台”,往往仍然不够具体。
一家产品公司可能同时提供网页聊天、移动应用、AI 搜索、浏览器、办公助手、开发接口和企业服务。它们可能使用相同品牌,也可能显示不同名称;有的支持连续对话,有的强调网页来源,有的允许上传文件,有的只在登录以后开放某种模式。
所以,正式观察中的入口至少要包含下面四层身份:
产品家族 → 具体产品 → 使用端 → 当时可见模式
例如,“某公司 AI”只说明产品家族;“某助手网页端普通对话”才接近一个可执行入口;如果又手动打开了搜索或深度模式,它就可能成为另一组观察条件。
麦序科技把第一轮三个教学入口写成:
| 入口代号 | 客户实际场景 | 本轮具体身份 | 主要观察任务 |
|---|---|---|---|
| E-A | 老板在手机上快速了解解决方法 | 移动应用、已登录、普通聊天、新会话 | 回答怎样解释问题,是否自然形成候选 |
| E-B | 运营负责人查找厂商和公开依据 | 网页端、AI 搜索、来源区可见、新会话 | 回答展示哪些网页,关键说法是否有支持 |
| E-C | 信息技术负责人工作中核验接口 | 桌面办公入口、组织账号、新会话 | 回答怎样描述产品能力、限制和下一步核验 |
三个入口都可以回答 Q-033,但它们不是三个完全相同的容器。
E-A 更接近快速咨询,E-B 更接近资料搜索,E-C 更接近工作场景中的技术判断。团队可以观察同一个问题在不同入口出现了什么,却不能假设它们应该生成相同长度、相同来源数量和相同候选结构。
一个入口需要有自己的“身份证”
麦序科技为每个核心入口保留一份简短身份记录:
- 页面或应用当时显示的名称;
- 实际访问地址、移动端或桌面端;
- 登录状态与账号类型;
- 普通聊天、搜索、联网、深度等可见模式;
- 新会话、连续对话或带附件任务;
- 观察日期以及界面中能看到的版本信息;
- 来源、卡片、图片和引用区域怎样展示;
- 哪些条件看不到,只能标记为未知。
这不是为了制造复杂字段,而是为了让未来的人知道:当时那条回答究竟在哪里产生。
只保存产品名称,入口改版以后就无法判断新旧记录是否仍属于同一场景;只保存网址,也可能漏掉移动应用、登录和模式差异。入口身份必须足以支持另一名同事重新找到相近的用户路径。
先按客户任务分配入口
很多团队的执行方式是:“小王测平台甲,小李测平台乙,小张测平台丙。”
这种分工很方便,却跳过了最重要的一步:目标客户为什么会打开这些入口?
麦序科技先回到客户角色。
连锁烘焙企业老板通常想快速理解“要不要上系统”;运营负责人需要查找解决方案、案例和候选;信息技术负责人更关心接口、数据责任和实施条件。三个人可能使用不同入口,也可能在同一产品里选择不同模式。
团队因此先建立“角色—任务—入口”关系:
| 客户角色 | 他正在完成的任务 | 更值得观察的回答部分 | 不应代替他的指标 |
|---|---|---|---|
| 老板或决策者 | 快速理解问题、形成初步候选 | 选择方法、品牌角色、风险提醒 | 来源数量越多不代表越适合决策 |
| 运营或采购 | 查找方案、比较厂商、打开网页 | 候选依据、来源可访问性、事实当前性 | 回答越长不代表证据越充分 |
| 技术或实施人员 | 核验接口、部署与责任边界 | 具体能力、限制条件、核验步骤 | 提到品牌不代表技术说法正确 |
这种设计会直接影响问题选择。
老板可能会问“二十家门店有没有必要上智能排产”;运营人员会问“连锁烘焙排产系统应该比较哪些厂商”;技术负责人则会问“现有收银系统怎样与排产连接,数据由谁确认”。如果团队只在所有入口重复品牌问题,就看不到这些真实任务差异。
平台选择因此不来自热度榜单,而来自客户使用证据。第一轮可以访谈三到五位目标角色,询问他们最近一次在哪里打开 AI、使用网页还是应用、是否主动开启搜索、会不会点击来源、回答后还会继续做什么。
如果没有客户使用依据,入口仍然可以进入探索观察,但报告必须写清“用于了解可能场景”,不能把它冒充目标客户基线。
一条问题怎样穿过三个入口
入口确定以后,麦序科技用同一个 Q-033 做了三次独立观察。下面只展示每个入口的一条教学回答,用来说明阅读方法,不代表真实产品表现。
E-A:没有提品牌,却给出了正确的核验方法
手机聊天入口回答:
连接现有收银系统前,应先确认收银品牌、版本、开放接口、可读取的数据范围和同步频率。供应商说“支持对接”时,还要查看当前接口说明并安排测试环境验证,不能只凭产品介绍判断兼容。
这条回答没有麦序科技,也没有展示网页来源。
如果项目目标是观察陌生客户候选,品牌缺席是需要记录的现象;但从客户帮助角度看,回答并不差。它正确提醒了版本、数据范围和测试环境,也没有无依据推荐某家企业。
团队对 E-A 的结论是:
本轮 Q-033 回答提供了有用核验方法,未形成具体厂商候选;入口没有展示可见来源,无法仅凭界面判断这些方法来自哪里。
下一步不是为了让品牌出现而改问题,而是检查麦序的公开内容是否真正回答了这些核验条件。
E-B:品牌出现,也有来源,但旧材料混了进来
网页 AI 搜索入口回答:
麦序科技等排产服务商可以通过标准接口连接部分收银系统。实际兼容性需要查看厂商当前接口清单,并核对收银品牌和版本。
回答展示了四个来源:麦序当前接口说明、两篇行业文章和一篇三年前的合作稿。
这条回答的正文相对谨慎,但来源数量不能直接记成“四条支持”。团队逐一打开以后发现:当前接口说明能够支持“部分系统需要核验”;两篇行业文章只提供一般方法;旧合作稿仍然写着“覆盖所有主流收银品牌”。
因此,E-B 暴露的不是简单“来源表现好”,而是一组来源关系:
- 当前主版本已经能够支持谨慎说法;
- 外部一般资料可以解释核验方法;
- 旧合作稿仍可能继续传播绝对化能力。
团队对 E-B 的结论是:
本轮回答提到麦序科技,并展示当前接口说明;来源区同时出现过期合作稿,关键说法不能按来源总数判断,需要继续处理旧资料冲突。
E-C:品牌位置很强,事实风险也最大
办公入口回答:
麦序科技支持所有主流收银系统,可以自动读取门店订单并直接生成排产计划,一般不需要额外技术核验。
这条回答把品牌放在非常明确的位置,但麦序当前公开资料并不支持“所有主流系统”和“不需要额外核验”。
如果团队只看品牌提及与推荐语气,E-C 会得到最好成绩;如果回到事实,它却是三条回答中风险最高的一条。
团队对 E-C 的结论是:
本轮回答形成强品牌判断,但接口范围和实施过程被绝对化,可能影响采购预期。需要优先检查企业旧资料、产品关系和可联系的外部来源。
三条回答最终产生了三种不同动作:E-A 进入答案覆盖检查,E-B 进入来源冲突处理,E-C 进入高风险事实诊断。
这才是多入口观察的价值:不是选出赢家,而是让不同客户场景暴露不同信息问题。
哪些结果可以并列,哪些必须分开
跨入口比较最容易犯的错误,是看到所有回答都来自 AI,就默认所有数字都能放进同一张排行榜。
下面这张图先给出判断边界。
可以并列观察的现象
在问题文本一致、时间相近、入口身份清楚的前提下,可以并列描述:
- 品牌是否出现在正文、候选、卡片或来源发布者中;
- 回答怎样描述企业身份、产品能力和适用边界;
- 是否出现同一项高风险错误;
- 是否给出具体下一步,还是只有泛泛口号;
- 可见来源是否能够打开,是否支持对应说法;
- 回答属于有效、拒绝、失败还是证据不完整。
这里的“并列”不等于“合并”。例如可以写“E-B 与 E-C 都提到麦序,但 E-C 存在绝对化接口错误”,不必把两条结果压成一个平均分。
必须按入口分别解释的结果
下面这些结果通常不能直接平均或排名:
- 聊天助手与 AI 搜索展示的来源数量;
- 普通回答与深度模式的回答长度;
- 网页正文候选和移动端产品卡片的位置;
- 登录账号与未登录入口的结果;
- 新会话与已经追问过品牌的连续对话;
- 普通用户网页与开发接口调用结果;
- 重大改版前后的趋势数字。
原因不是“平台太复杂,所以什么都不能比”,而是这些对象承担的任务、可见条件或呈现方式不同。把它们硬合并,会让数字失去含义。
同一入口内部也不一定能够连续比较
产品名称没有变,不代表观察对象没有变。
如果普通聊天入口后来默认开启网页搜索,原来折叠的来源变成正文卡片,登录要求发生改变,或者移动应用重构了候选展示,团队需要重新判断可比性。
可以使用三种结论:
| 可比性判断 | 适用情形 | 报告怎样写 |
|---|---|---|
| 基本可比 | 问题、入口、账号、模式和展示任务保持相近 | 继续前后比较,同时记录日期和可见小变化 |
| 有限可比 | 部分条件变化,但核心回答任务仍能对应 | 只比较仍然一致的观察面,把变化写在结论前 |
| 重新建立基线 | 入口任务、模式、账号体系或展示结构发生重大变化 | 结束旧序列,保留历史,从新入口建立起点 |
旧数据不需要删除。它仍然说明过去在什么条件下发生过什么,只是不再冒充连续趋势。
搜索、联网和深度模式,不是三个装饰按钮
国内产品常把搜索、联网、深度思考、研究或其他模式显示在输入区附近。按钮名称和具体能力会变化,本章不把任何名称当作永久分类。
观察时只记录界面可见状态和实际结果。
如果项目想了解普通客户直接提问会看到什么,就按客户通常使用的默认入口执行;如果项目关心带来源的资料查找,就建立独立的搜索任务。不要在回答不理想时临时打开模式,再把结果放回普通入口样本。
同一问题可以拥有两个正式任务:
Q-033 / 普通聊天:观察初始解释与候选;Q-033 / 可见搜索:观察网页来源与事实支持。
它们共享客户问题,却属于不同运行条件。
回答展示来源时,可以写“本次可见三个来源”;不能由此断言后台固定执行了某种检索流程。回答没有来源按钮时,可以写“本次界面未展示来源”;不能直接推断回答完全没有使用外部资料。
深度或研究模式也不能因为回答更长就自动获得高分。它仍然需要检查事实、来源对应、重复内容和客户是否真正看得懂。
登录、新会话和账户记忆怎样留下边界
麦序科技第一次正式观察差点使用三名员工的个人账号。一个账号曾经上传过公司产品资料,另一个账号长期讨论零售数字化,第三个账号没有任何相关历史。
即使三个人都点击“新会话”,可见条件仍然不完全相同。
核心基线最好使用团队预先约定的普通账号条件,不选择已经大量保存企业资料的个人账号。每次从界面可见的新会话开始,并记录记忆或历史设置是否可见。
这里要保留一个诚实边界:
团队能够确认的是“从可见的新会话开始”,不能保证平台后台完全没有账户级影响。
未登录入口可以观察,但应作为独立场景;会员账号、组织账号和个人普通账号也不应悄悄混在同一分母里。
连续对话如果是客户真实任务,可以提前冻结对话脚本。例如先问业务问题,再追问“兼容性依据是什么”。但不能在回答没有品牌时追问“为什么不提麦序科技”,然后把第二段当作品牌自然发现。
来源卡片不能只截个图就算保存完成
国内入口的来源可能显示为脚注、数字标记、网页卡片、搜索结果、折叠列表或应用内页面。只复制回答正文,会丢失来源与具体句子的视觉关系;只截当前屏幕,又可能漏掉完整网址和页面内容。
麦序科技对 E-B 的每条回答保存三类证据:
- 完整问题与完整回答文本;
- 能看见正文、脚注和卡片关系的页面截图;
- 来源标题、点击后的最终网址、发布主体和核对结论。
点击来源后发生跳转,要保存实际落地地址。应用内页面无法复制链接时,就写“应用内页面,无法取得公开网址”,不要在外部搜索一个相似标题补上。
来源全部列在回答末尾时,不能自动把每个链接分配给每句话。只有来源标记、页面内容或上下文能够支持时,才建立对应关系。
来源熟悉也不等于来源正确。企业官网可能仍是旧版本,新闻媒体可能引用了过期资料,论坛帖子可能没有作者和时间。核验时继续检查发布主体、日期、当前性、适用范围以及它究竟支持哪一句话。
卡片、图片和视频也是回答的一部分
有些入口不会只返回文字。品牌可能出现在产品卡片、地图结果、图片说明、视频推荐或来源发布者位置。
如果只导出文本,团队可能误判品牌缺席,也可能把来源发布者错误记成被推荐对象。
记录时要区分:
- 正文正在推荐或比较企业;
- 卡片把企业作为可点击候选;
- 图片中偶然出现企业标志;
- 来源文章由企业发布,但正文没有把企业当候选;
- 视频或地图结果属于另一个业务实体。
移动端与桌面端的卡片位置不同,不自动意味着候选地位变化。先读正文语气,再说明视觉呈现。
动态内容点击后进入新页面,可以记录落地结果,但不要为了观察执行购买、提交表单或绕过登录限制。截图也要避免保存无关个人信息、历史会话和账号资料。
服务失败、合理拒绝和事实错误必须分开
多入口观察中,最容易污染报告的是把所有“没有得到想要答案”的情况都算成品牌未提及。
麦序科技使用下面五类运行状态:
| 运行状态 | 典型表现 | 是否进入品牌与事实分析 |
|---|---|---|
| 有效完整 | 回答主体与可见区域正常结束 | 进入分析 |
| 有效但证据不完整 | 正文完整,来源区或卡片加载失败 | 正文可分析,缺失部分单独标记 |
| 合理拒绝 | 拒绝无依据排名,同时给出选择方法 | 作为有效回答分析 |
| 技术失败 | 服务繁忙、网络错误、登录失效、空白或严重中断 | 不算品牌未提及,进入运行质量 |
| 待人工判断 | 回答偏题、截断程度不清或视觉元素难判断 | 复核后再分类 |
重试规则要在开始前约定,并对所有入口一致执行。原失败记录必须保留,成功重试不能覆盖第一次失败。
如果 E-C 一半任务都因登录问题失败,剩余回答即使品牌出现很多,也不能写成稳定表现。报告应先说有效样本是否足以分析,再谈品牌与内容。
用场景报告代替平台总排名
不制作一个总分,不等于把几十条回答原样交给管理层。
麦序科技把三入口结果写成一页“入口—现象—证据—动作”报告:
| 入口 | 本轮最重要的现象 | 能回看的证据 | 企业下一步 |
|---|---|---|---|
| E-A 手机聊天 | 回答方法正确,但没有形成麦序候选 | Q-033 三次完整回答与入口条件 | 检查官网是否有面向非品牌问题的直接答案 |
| E-B 网页 AI 搜索 | 当前接口页可见,同时混入旧合作稿 | 来源卡、最终网址和逐句支持关系 | 维护当前主版本,继续请求旧稿更正 |
| E-C 办公入口 | 品牌位置强,但接口能力被绝对化 | 错误原句、当前接口说明和历史资料 | 优先处理高风险事实冲突,再复测原问题 |
管理层不需要先知道 E-A 是 72 分还是 E-C 是 81 分。它更需要知道:哪个客户场景出现了什么风险,证据在哪里,企业能控制的下一步是什么。
如果需要数字,可以按入口分别展示计划样本、有效回答、技术失败、品牌角色、事实错误和来源状态。数字仍然要带入口、问题类型和分母。
跨入口总览可以回答“哪些问题在多个入口重复出现错误”,但不能把不同任务压成一个永恒的品牌分数。
入口发生变化以后,怎样决定继续还是重开
复测前,团队不能只打开书签直接运行。先重新确认:
- 产品名称和最终地址是否变化;
- 网页、移动端或办公入口是否仍然存在;
- 登录要求、账号类型和地区限制是否变化;
- 普通、搜索或深度模式是否仍能找到;
- 来源、卡片和正文的展示任务是否发生明显改变;
- 本书平台观察卡是否仍在核验期。
按钮从左边移到右边,通常只是界面变化;普通聊天变成默认搜索,可能已经改变回答任务;网页入口被并入另一个产品家族,则需要重新记录身份。
麦序科技的 E-B 后来更换产品名称,但最终入口、搜索任务和来源呈现仍然相近。团队将这一轮标为“有限可比”,先说明更名,再比较仍能对应的事实错误和来源当前性。
E-C 则从独立办公入口迁移到组织内的新助手,账号权限与资料访问条件都改变。团队结束旧趋势,保留历史记录,为新入口重新建立基线。
停止旧序列不是丢失数据,而是避免用一条虚假的连续曲线掩盖产品变化。
用平台观察卡确认当前入口,而不是寻找排名
本书已经提供七份国内平台观察卡。它们记录官方入口、访问条件、证据等级、核验日期、来源缺口和过时风险:
观察卡不是产品推荐名单,也不是功能保证,更不是算法说明。
正式执行前,先打开目标卡片查看 last_verified、最终入口、证据等级和来源缺口。入口已经跳转或名称变化时,重新核对当前官方页面,并把本次实际条件写进项目。
平台卡只能帮助团队找到经过边界说明的当前起点,不能替代登录、模式、客户任务和证据保存设计。
本书把易变的平台事实放在观察卡中,而不是写死在方法章节里。这样产品变化时,可以更新入口记录,不必把某次界面观察误写成永久规则。
什么时候扩大入口,什么时候主动缩小
平台越多,观察不一定越成熟。
麦序科技只有在下面四件事成立以后,才考虑加入第四个核心入口:
- 新入口确实对应一个重要客户角色或任务;
- 团队能够稳定访问,并遵守当前产品规则;
- 每条回答、来源、视觉元素和失败都有保存位置;
- 新入口暴露的信息无法由现有入口合理覆盖。
如果只是“这款产品最近很热门”,可以先做少量探索,不立即加入长期基线。
相反,出现下面情况时应该缩小范围:
- 执行人员已经无法完整保存回答;
- 多个平台使用了不同问题和账号,却准备合并报告;
- 大量来源没有打开核验;
- 技术失败被当成品牌缺席;
- 团队只来得及数提及,无法检查事实风险。
两到四个证据完整的核心入口,通常比十个各问一次的截图更有价值。
完成一轮国内多入口观察
现在用自己的项目完成一次进阶练习。
先选择一个真正影响客户判断的问题,再选择三个对应不同客户任务的具体入口。每个入口写清产品、端、登录、模式、新会话和日期,不只写公司名称。
每个入口做三次独立观察,完整保存回答、来源、卡片和运行状态。分析时至少回答:
- 这个入口对应谁的什么任务?
- 品牌以什么角色出现,还是没有出现?
- 哪些具体事实正确,哪些错误或缺少条件?
- 可见来源能否打开,真正支持哪句话?
- 这次结果是有效回答、合理拒绝还是技术失败?
- 与其他入口相比,哪些现象可以并列,哪些必须分开?
- 每个入口暴露的问题,应该进入内容、来源、企业事实还是继续观察?
最后不要写平台排行榜。写一段能够直接行动的结论:
在哪些客户场景中看到了什么;哪些问题跨入口重复出现;哪些差异来自入口任务;企业下一轮先修什么;哪些结果仍然不能解释。
如果另一名同事能够从这段结论回到具体入口、问题、回答、来源和行动,这轮国内平台观察才算真正完成。
第一次只需要两个入口时,可以使用国内 AI 平台第一次观察;需要进一步冻结问题、重复次数和运行分母时,回到第 2 章:建立可比较的 GEO 基线。
执行中遇到登录差异、来源区失败、入口跳转或基线中断,可以直接进入进阶实战答疑的“平台观察与证据”部分。
延伸阅读与资料来源
- 本项目七份平台观察卡中的官方入口、核验方法、证据等级和过时风险。
- 中国互联网信息办公室等发布的生成式人工智能服务管理暂行办法提供国内生成式服务公开治理背景。本指南不据此推断具体产品机制。
- Aggarwal 等人的论文 GEO: Generative Engine Optimization提供多生成式引擎与查询观察的研究背景。本指南不把实验结果外推为国内平台固定规则。