主题
第六部分 评估与调优
这一部分要回答的问题:承接第五部分:链路搭起来了,怎么知道它答得好不好?
五节是「造尺子 → 用尺子」的顺序(图 6-1):6.1 先把测试集造出来,6.2 与 6.3 分别量检索和生成,6.4 用消融判断每个组件值多少,6.5 把错题落回具体环节。
这一部分的实验代码在 labs/06-evaluation/,数据在 benchmarks/evaluation/。测试集有两个版本:eval/qa.jsonl 是第五部分的 80 题,eval/qa-v2.jsonl 是本部分扩到的 300 题(dev/test 各 150)。
有几处限制在正文里按未验证写,不藏:test 分片有 8 道题因 5.3 的短条款被丢弃而排除;v2 的生成结果没有人工正确率标签,6.3 的裁判只在 v1 的 80 条上校准过。