9.4 评测集构建

先给结论：评测集不是“找几十个问题跑一遍”就够了。真正有用的 RAG 评测集，必须同时覆盖任务类型、难度分层、知识边界和真实提问方式，否则你测出来的往往只是“系统在少数理想样本上的表现”。

很多团队在评测上会掉进两个很常见的坑：

样本太整齐，像出题，不像真实用户提问
样本类型太单一，只能测一种能力

这样的问题是，离线分数看起来可能很好，但一到线上就开始出现：

明明离线答得很好，真实用户一问就不稳
检索指标没问题，但复杂问题还是答不好
简单 FAQ 看起来很强，一碰跨文档、长上下文、多条件问题就掉线

所以这一节真正要解决的，不是“有没有评测集”，而是：

评测集要按什么结构搭起来
为什么问题类型必须有覆盖面
为什么离线样本总是和线上问题长得不一样

学这一节时，最值得先建立的判断

评测集的目标不是证明系统很好，而是尽早暴露系统弱点
一个高分评测集，不一定是一个好评测集；样本过于简单时，分数本身就会失真
RAG 评测集至少要覆盖不同任务类型、不同证据分布、不同难度层次
离线样本必须持续吸收线上失败问题，否则评测很快会和真实表现脱节

这一节会回答什么问题

读完这一节后，你最好能更稳地判断：

一套评测集为什么会“看起来很多题，实际上没什么诊断价值”
当前样本集缺的到底是题量，还是题型覆盖和难度分层
为什么评测集必须是持续更新的资产，而不是一次性整理出来的文档