7.2评估方法

先给直觉

AI 评估不能只靠试几个问题。

你问模型：

RAG 是什么？

它答得不错，这只能说明它会答这个问题。

真实产品会遇到：

• 模糊问题。
• 错误前提。
• 长文档。
• 私有知识。
• 多轮上下文。
• 边界问题。
• 恶意输入。
• 高风险操作。

评估的目标不是证明模型很厉害，而是发现它什么时候不可靠。

为什么 AI 评估难

传统软件常常有明确输入输出。

例如：

2 + 2 = 4

AI 任务经常有多个可接受答案。

例如：

请解释什么是 Attention。

不同回答都可能正确，但清晰度、准确性、适合读者程度不同。

这让 AI 评估更像“带标准的审稿”，而不只是判断对错。

评估对象

AI 系统里可以评估很多层：

• 模型本身。
• Prompt。
• RAG 检索。
• RAG 回答。
• Agent 计划。
• 工具调用。
• 最终用户体验。
• 成本和延迟。

不要只评估最后一段文字。

如果最终结果错了，可能是：

• 模型不够强。
• Prompt 不清楚。
• 检索找错资料。
• 工具返回错误。
• 上下文太长。
• 输出没有校验。
• 用户任务定义不清。

离线评估

离线评估是在上线前，用固定测试集评估系统。

适合：

• 比较模型。
• 比较 Prompt。
• 比较检索策略。
• 回归测试。
• 发布前质量检查。

基本流程：

1. 准备测试问题。
2. 定义标准答案或评分 Rubric。
3. 运行候选方案。
4. 记录输出。
5. 人工或自动评分。
6. 分析失败类型。

优点：

• 可重复。
• 适合比较。
• 风险低。

缺点：

• 测试集可能不能覆盖真实用户。
• 容易被过度优化。

人工评估

人工评估由人根据标准打分。

适合：

• 高风险任务。
• 主观质量任务。
• 教学内容。
• 产品方案。
• 复杂推理。
• 事实核查。

人工评估要有 Rubric。

差评估：

感觉不错。

好评估：

准确性 1-5
清晰度 1-5
是否基于资料 1-5
是否遗漏关键点 1-5
是否有风险表达 1-5

人工评估贵，但对早期产品非常重要。

自动评估

自动评估用程序、规则或模型来评分。

适合：

• 格式检查。
• JSON 是否合法。
• 字段是否齐全。
• 引用是否存在。
• 答案是否包含关键点。
• 大量样本初筛。

自动评估也可以用另一个模型做评审。

但要注意：模型评估模型也会错。它适合辅助筛查，不适合无条件当裁判。

LLM-as-Judge

LLM-as-Judge 指用模型评价模型输出。

适合：

• 大规模初筛。
• 文本质量比较。
• 是否遵守格式。
• 是否覆盖要点。
• 是否存在明显风险。

使用时要注意：

• 给清楚 Rubric。
• 尽量让评审模型引用依据。
• 对高风险样本人工抽查。
• 不要让同一个模型既答题又无监督评分。
• 定期校准模型评分和人工评分的一致性。

线上监控

上线后还要持续监控。

监控指标：

• 请求量。
• 成功率。
• 平均延迟。
• 单次成本。
• 用户采纳率。
• 用户编辑比例。
• 用户投诉。
• 工具调用失败率。
• 检索无结果率。
• 人工审核退回率。

线上监控能发现离线测试没覆盖的问题。

评估维度

准确性

答案是否正确。

相关性

是否回答了用户问题。

完整性

是否遗漏关键点。

清晰度

目标用户是否能理解。

Groundedness

回答是否基于给定资料。

引用质量

引用是否存在，是否支持结论。

安全性

是否包含危险建议、隐私泄露、越权操作等问题。

稳定性

相同或相似输入是否表现稳定。

成本

每次调用费用是否可接受。

延迟

用户等待时间是否可接受。

构建评估集

评估集要来自真实任务。

建议包含：

• 简单问题。
• 复杂问题。
• 边界问题。
• 资料不足问题。
• 错误前提问题。
• 多轮问题。
• 高风险问题。
• 常见用户表达。

评估集应该持续更新。

每次发现线上失败案例，都应该考虑加入评估集。

A/B 测试

当两个方案都看起来可行时，可以 A/B 测试。

比较：

• 不同模型。
• 不同 Prompt。
• 不同检索策略。
• 不同交互方式。
• 不同失败提示。

注意：

• A/B 测试要有明确指标。
• 高风险功能不应直接拿用户冒险。
• 需要保护用户隐私。

回归测试

每次改 Prompt、换模型、改检索，都可能引入新问题。

回归测试用于检查：

• 旧问题是否还答得对。
• 引用是否还正确。
• 格式是否还稳定。
• 成本和延迟是否变化。

AI 系统也需要版本管理。不要今天改 Prompt，明天忘了为什么。

案例：课程问答助手评估

目标：

评估课程问答助手是否可靠。

评估集：

• 20 个概念问题。
• 10 个对比问题。
• 10 个应用问题。
• 5 个资料不足问题。
• 5 个错误前提问题。

评分维度：

• 回答准确性。
• 是否基于课程资料。
• 引用是否正确。
• 表达是否适合学习者。
• 是否承认不确定。

上线监控：

• 用户追问率。
• 用户点赞/踩。
• 检索无结果率。
• 回答被人工改写比例。

常见误区

误区 1：Benchmark 高，业务就一定好

公开 Benchmark 不能替代自己的任务评估。

误区 2：人工评估太慢，所以不需要

早期没有人工评估，很容易不知道系统错在哪里。

误区 3：自动评估可以完全替代人工

不能。自动评估适合提效，但高风险和复杂质量仍需人工。

误区 4：上线前评估一次就够了

不够。模型、数据、用户问题和产品形态都会变化。

误区 5：只看准确率

AI 产品还要看成本、延迟、安全、用户体验和失败恢复。

动手练习

为一个“AI 课程问答助手”设计评估方案。

填写：

项目	你的设计
测试问题数量
问题类型
评分维度
哪些由人工评估
哪些可自动评估
上线后监控什么
失败案例如何进入评估集