如何设计企业知识问答系统的验收问题与评测记录

先写验收决定，再编问题

验收需要回答“哪些任务在什么条件下可以开放使用”。先确定岗位、资料版本、允许用途和不可接受错误，再准备问题。若只用现场随手提问，难以知道覆盖了哪些任务，也无法复查某次修改是否带来退步。

Microsoft 的 RAG 评测指导把检索与最终回答作为不同检查面。本文仅引用这一检查思路；具体问题集、判定条件和人工复核由项目双方确认，不意味着已采用特定平台。

依据：[1] Microsoft Learn：RAG end-to-end evaluation phase

按风险建立问题组

为每道题保存判断依据

1. 先登记题号、任务类型、资料版本和测试身份，把标准依据及可接受行为写清。
2. 保留原始问法与必要的变体；用于调试的题和用于最终验收的题分别登记，避免只记住答案。
3. 执行时保存检索片段、最终回答、引用位置及运行条件，并标注失败、超时等状态。
4. 由业务判断人逐项复核；自动评分如参与检查，须记录其规则和人工复核结果。

没有唯一标准答案的问题，可以验收是否追问、是否保留条件、是否拒绝越权，不能只拿一句参考答案逐字匹配。

把失败归因写成可行动的记录

不要把所有错误都归为模型能力不足。可能是资料缺失、解析错误、检索遗漏、权限限制、回答越界或系统执行失败，修复动作应对准具体原因。

用假设结果演练统计口径

假设冻结的问题集有十题，八题完成且其中六题通过，两题因执行故障未完成。可分别记录完成题通过为六比八、计划题通过为六比十，并列出两道执行故障；不能把未执行项悄悄移出报告。这里的数字仅用于说明统计口径，不是任何项目效果。

关键权限问题即使只出现一次，也可能需要暂停开放相关功能；是否允许带条件通过，应在验收前明确，不能靠总体平均分冲抵。样本规模、任务分布和尚未覆盖的输入也应随报告披露。

以版本记录决定开放与复验

验收表应关联资料版本、权限条件及运行版本，写明开放对象、使用限制和遗留问题。更新资料、调整解析或变更检索后，重跑受影响问题，并加入暴露新风险的样本。沟通企业 AI 知识库及效果评测与维护时，可先准备任务目录和脱敏问题样本；通过有限问题集仅代表该测试条件下的结果，不等于所有真实问题都可靠。