主题
第五部分 RAG 全链路
这一部分要回答的问题:承接第四部分:模型压到 4 位、跑得很省了,但它不知道公司资料,怎么办?
九节按链路排(图 5-1):5.1 先说清为什么是 RAG,5.2–5.5 是离线入库,5.6–5.9 是在线问答,最后两节处理权限和增量这些长期运行才会暴露的问题。
这一部分的实验代码在 labs/05-rag/,原始数据在 benchmarks/rag/,测试集在 eval/(80 题,四类各 20;第六部分扩到 300 题,见 eval/qa-v2.jsonl)。 参数集中在 labs/05-rag/config.yaml;所有延迟数字都来自 M4 / 24GB 本机,换机器只比相对差异。
与前面几部分不同,这一部分用到了两个额外模型:Qwen3-Embedding-0.6B(1024 维)与 bge-reranker-v2-m3(交叉编码器), 都走 llama-server 的本地端点,不依赖外部 API。下载与启动命令见 labs/05-rag/README.md。
有两处没有做实测,正文里也按未验证写:扫描件 OCR 与双栏版面(见 corpus/GAPS.md)。 版面分析与 ANN 的规模效应引用公开基准,不和本机数字混在同一张图里。