数据与 AI 不是产品品味的替代品，而是判断的校准器

产品团队讨论一个新能力时，常被迫站到两边：一边要求所有决定都由数据和实验支持，另一边认为真正的产品创新来自经验、审美与洞察。前者容易选择短期可测的改动，后者可能把个人偏好包装成“品味”。AI 产品又增加了一层不确定：同一功能的输出会因上下文、模型版本和用户表达而变化，很难像固定按钮一样评价。

这场争论的前提有误。数据与品味不是竞争的决策权，而是针对不同不确定性的工具；产品团队应根据一项决定的可测性与可逆性，选择证据、试验和治理方式。数据适合校准判断、暴露反例和观察结果，人的产品技艺负责定义值得解决的问题、体验取舍与不可量化的质量底线。

为什么“凡事实验”会让产品变窄

能被快速测量的，通常是已有行为上的局部变化，例如点击、完成率和停留时间。全新的工作方式在用户尚未理解之前，早期使用可能很低；重要价值也可能跨越数周或多个角色。若只批准能在短周期显著提升指标的项目，团队会不断优化现有路径，却很少创造新的路径。

指标还会重写行为。把生成次数设为 AI 功能的成功标准，团队会鼓励更多生成，而不是更好的任务结果；把自动解决率设为客服目标，系统可能减少合理升级。数据不是现实本身，而是对某个目标和观察窗口的编码。

相反，“相信品味”也会隐藏风险。设计者熟悉产品和术语，不代表新用户能理解；内部演示顺畅，不代表真实权限、脏数据和例外下仍可运行。没有外部证据，团队很难区分坚定的产品判断与不愿承认错误。

可测性—可逆性判断矩阵

“可测性—可逆性矩阵”不判断哪个决定更高级，而是为四类决定匹配合适方法。

**高可测、高可逆：快速实验区。**结果能够在合理时间内观察，失败也容易恢复，例如调整一个低风险流程提示或排序。团队可以预先定义主指标、约束指标和停止条件，小范围比较后快速迭代。AI 可帮助分析反馈，但不能在结果出来后随意改口径。

**高可测、低可逆：受控发布区。**结果可观察，但错误会产生重大成本，例如修改客户承诺、计费逻辑或关键审批。这里不能因为“能做 A/B 测试”就让部分用户承担不可接受后果。应使用历史回放、模拟、专家评审、分阶段发布、限额和恢复方案，并由明确角色批准。

**低可测、高可逆：探索原型区。**新交互、新任务方式或早期 AI 助手常位于这里。团队应依赖业务观察、可用性研究、内部试用、访谈与任务复盘，寻找用户怎样理解、何时犹豫和哪些例外暴露。原型要能快速丢弃，不能因投入感情过早固化架构。

**低可测、低可逆：判断与审议区。**品牌承诺、核心工作流重构、敏感人群决策等既难短期量化，又难撤销。需要清晰产品论点、跨职能专家、情景推演、伦理与合规审查，以及更小的承诺步幅。此时数据提供边界和反例，不能替组织作价值选择。

一项决定会随阶段移动。新功能最初可能在探索原型区，形成稳定任务后进入快速实验区；一旦连接自动执行，虽然可测性提高，可逆性却可能下降。团队应在每次扩大影响范围时重新定位，而不是沿用最初的轻量评审。

为 AI 产品增加“任务完整性”视角

传统产品指标常关注界面事件，企业 AI 更应关注任务是否完整。一个回答被复制，不代表合同审查完成；一个预测被打开，不代表排产调整合理。任务完整性至少包含四层：输出是否有足够证据，使用者是否理解限制，动作是否进入有权限的系统，结果是否能被追踪和纠正。

因此，AI 产品评审的单位应从“功能”转向“业务任务”。团队要观察一张订单、一项合同义务、一次客户请求或一个设备故障如何经过系统，而不是只看会话。模型表现、交互体验和流程结果放在同一个任务记录中，才知道问题来自答案、界面还是组织交接。

一条兼顾技艺与证据的开发路径

第一步由产品、业务与设计负责人写产品论点：为哪类角色解决哪种紧张，现有替代方式为何不足，什么体验原则不可牺牲。输出不是功能清单，而是待验证的判断。数据或 AI 负责人同时说明已知事实、未知假设和可观测结果。

第二步将关键决定放入矩阵。逐项评估可测时间、样本、结果噪声、失败影响、恢复成本和涉及权限。根据区域选择实验、原型、模拟或正式审议。检查点是团队能够解释为什么采用这套证据，而不是因为工具刚好方便。

第三步建立任务样本。收集典型流程、边缘例外、失败记录和不同角色需求，去除不必要敏感信息。对于 AI 输出，要定义可接受、需人工确认、必须拒绝三类标准，并记录来源要求。

第四步制作最小端到端原型。即使界面粗糙，也要覆盖信息读取、判断、人工修改、审批或写回和反馈。让真实使用者完成任务，观察他们是否理解，而不只询问“喜欢吗”。输出是被证据修订的产品论点。

第五步分阶段发布并保留反证。快速实验区预设指标，受控发布区预设限额与回滚，探索区保存质性记录，审议区保存责任与取舍。每次评审都问：哪些发现支持原判断，哪些要求改变，哪些仍未知？

整个过程中应维护一份“产品判断记录”，把最初论点、采用的方法、关键证据、被否定的方案和最终责任人放在一起。它不是为每个按钮增加文档，而是保留那些会影响后续团队理解的重要取舍。当指标短期下降但团队仍决定继续，记录应说明守护的长期价值和复查时间；当一项有吸引力的设计被放弃，也应说明是哪类用户任务或风险推翻了它。这样，产品品味可以被讨论和传承，而不必假装所有判断都能还原成数字。

两种极端及其边界

“指标统治”会把未被测量的质量当作不存在，忽略信任、清晰、尊严和长期学习；“品味统治”则可能拒绝负面数据，把权威变成免检。两者的修正都不是增加更多仪表盘，而是事先说明证据能回答什么、不能回答什么，以及谁对取舍负责。

AI 还会带来评估漂移。模型升级、知识更新和提示变化可能让原验证失效，产品不能把一次通过当作永久质量。涉及安全、法律、财务或个人权益时，应保留人工判断、审计和申诉，哪怕自动化指标看起来更好。

最后，不是每项产品改变都值得实验。样本不足、效应很慢、干预会伤害一部分用户或决定本来就明确必要时，实验可能既无效又不道德。好的产品技艺包括知道何时不做实验，也包括在不能实验时建立其他可质疑的证据。

为不同后果选择不同证据

产品技艺不是凭感觉一次命中，数据驱动也不是把决定交给统计显著性。评审一项产品决定时，应先判断结果是否可测、失败是否可逆，再选择快速实验、受控发布、探索原型或正式审议；方法与风险不匹配，比暂时缺少漂亮指标更危险。

当证据推翻原判断，团队要能够修改产品；当短期指标无法表达长期质量，团队也要公开说明坚持的原则、复查时间和责任人。好的产品技艺，不是让品味免受质疑，而是让每一种判断都接受与其后果相称的检验。

Luminent 会依据结果是否可测、失败是否可逆，为定制 AI 应用选择实验、受控发布、探索原型或正式审议，使产品判断接受与业务后果匹配的验证。