聊完 平台底座 和 流程接入 后，还要回答一个更现实的问题：哪些东西值得长期维护，怎样判断投入有没有效果。
工具名称和模型版本变化很快。真正能跨版本复用的，通常不是某段提示词本身，而是业务标准、评测数据、失败证据和可比较的结果。
资产一：按风险组织的评测集
评测集不只是“问题和标准答案”两列。建议至少包含：
| 字段 | 说明 |
|---|---|
| 输入与上下文 | 用户输入、必要背景、固定工具结果 |
| 期望行为 | 必须做到什么 |
| 禁止行为 | 哪些结果直接失败 |
| 风险等级 | 普通、重要、阻断发布 |
| 来源 | 专家设计、线上失败、用户反馈、对抗样例 |
| 标签 | 业务域、语言、用户类型、失败模式 |
| 版本 | 规则从何时生效、何时废弃 |
关键不是追求一个很大的数字，而是知道核心风险是否被覆盖。样例应有 owner 和 review 记录，业务变化后及时更新。
资产二：失败 trace 与确认结论
线上失败、人工接管、低评分和安全告警都应关联完整 trace。只有最终文本而没有过程证据，很难复盘。
一条高价值失败记录包括：
- 输入、模型与提示词版本；
- 检索和工具调用过程；
- 环境与依赖状态；
- 用户看到的结果；
- 人工确认的根因；
- 修复方式与对应回归样例。
这个语料库既能帮助人工排障，也可以用于相似案例检索和归因评测。要注意脱敏、访问控制和数据保留期限。
资产三：业务契约、策略与版本配置
相比“Prompt 库”，我更愿意维护一份完整的行为配置：
- 系统提示词和模板；
- JSON Schema、工具签名和权限；
- 业务规则、拒答条件和升级人工条件；
- 检索源、切分与排序配置；
- 模型、参数、路由和降级策略；
- grader、rubric 和人工标注指南。
提示词只是其中一部分。把它单独拿出来谈“资产化”，容易忽略真正决定系统行为的代码、数据和权限。
所有配置都应能够回答：谁在什么时候为什么修改，改动经过了哪些评测，出了问题如何回滚。
是否一定需要知识图谱
不一定。
如果业务关系复杂、实体和规则稳定，知识图谱可能有价值；如果资料主要是文档，带元数据的检索系统往往已经够用。先从最小结构开始：
- 清晰的数据源和 owner；
- 版本、权限和更新时间；
- 可追踪的文档片段；
- 业务术语和关键实体 ID。
当普通检索确实无法表达关系推理，再评估图结构。不要为了让架构看起来先进，先增加一套维护成本很高的基础设施。
指标一：任务是否完成
不同产品要定义自己的任务成功：
- 信息抽取：字段正确率和完整率；
- RAG：问题解决率、引用正确率、拒答正确率；
- Agent：任务完成率、正确工具与参数比例；
- 测试辅助：人工接受率、修改量、最终缺陷发现贡献。
“生成了多少条用例”“调用了多少次模型”只是活动量，不是价值。
指标二：关键失败是否受控
总体平均分可能掩盖少量严重问题。建议单独统计：
- 权限越界和错误写操作；
- 幻觉造成的业务错误；
- 高风险场景的漏检率；
- 线上失败逃逸率；
- 安全策略的误报与漏报。
关键失败通常要看绝对数量和逐条明细，而不是只看百分比。
指标三：从发现到确认需要多久
AI 测试平台很重要的一项价值，是减少信息整理和定位时间。可以记录：
- 从失败发生到聚齐证据的时间；
- 从告警到确认责任层的时间；
- 从线上坏样例到加入回归集的时间；
- 重复缺陷被识别和合并的比例。
这个指标比“自动归因准确率”更接近团队真实体验。即使模型不能直接给出根因，只要能把相关日志、变更和历史案例整理好，也可能显著缩短处理时间。
指标四：质量、延迟和成本是否平衡
AI 系统不能只追质量分。至少同时观察：
- 端到端 p50 / p95 / p99 延迟；
- 单任务模型调用次数和 token；
- 单任务成本；
- 超时、重试和降级比例；
- 缓存命中率；
- 在成本预算内的任务成功率。
优化模型、提示词或检索后，如果质量提高很少但成本翻倍，未必值得上线。反过来，便宜模型如果导致关键失败增加，也不是有效降本。
不要给所有团队套同一组目标值
“用例有效率必须 80%”“风险拦截率必须 95%”这类数字，如果没有业务基线和统计口径，容易变成汇报装饰。
更合理的做法是：
- 先在当前流程上测基线；
- 定义目标和不可退化项；
- 同时记录样本量和置信区间；
- 按业务域和风险等级分层；
- 每个指标都能追到样例明细；
- 定期检查指标是否诱导了错误行为。
例如，只考核“无需修改的生成用例比例”，团队可能会让模型只生成最简单的场景，数字变好，覆盖反而变差。这就是典型的 Goodhart 定律问题。
一个简洁的评审模板
本次变更
- 应用 / 模型 / 提示词 / 知识库版本：
- 评测集与 grader 版本：
质量
- 关键场景失败：
- 新增通过 / 新增失败：
- 人工抽检结论：
工程
- p95 延迟：
- 单任务成本：
- 超时与重试：
决策
- 是否发布：
- 已知风险：
- 灰度范围与回滚条件：一页报告足够支持发布决策，前提是每个数字都能下钻到真实样例和 trace。
写在最后
AI 测试的长期资产，可以归纳成四样东西：明确的业务标准、可版本化的评测集、带结论的失败证据、可追踪的系统配置。
模型和工具可以更换，只要这四样还在，团队就能重新比较、迁移和验证。反过来，如果只剩一堆提示词和漂亮分数，换一个模型或平台，很多经验就会从头再来。