FDE Handbook

主题

认识模型家族与版本（基座版 / 指令版 / 推理版） ​

本章要回答的问题：同一个模型为什么有 base / instruct / reasoning 好几个版本？名字里的 7B、Instruct、Q4 各是什么意思？

一个名字，三段信息 ​

以 Qwen3.5-9B 为例，这个名字拆开是三件事：

  • 家族：Qwen3.5，同一个家族共享分词器、架构和训练方法；
  • 规模：9B，总参数量约 90 亿；
  • 版本/变体：这里没有后缀，表示它是家族里的通用指令版。

Gemma-4-26B-A4B-it 多了一层：A4B 表示激活参数约 4B（混合专家结构），it 表示 instruction-tuned（指令微调）。Qwen3-14B 看着没有后缀，但它同样是经过后训练的对话模型，不是基座版——命名习惯各家用得不一样，不能靠后缀猜，必须看模型卡。

基座版、指令版、推理版 ​

这三类不是"同一个模型的不同精度"，而是训练目标不同的三个东西。

**基座版（base / pretrained）**的目标只有一个：预测下一个 token。它在海量文本上训练，学会了语言的统计规律，但没有"回答问题"的概念。你给它一句"法国的首都是"，它会续写"巴黎"；你给它"请总结以下文档"，它可能续写更多"请总结以下文档"的变体。基座版适合做继续预训练或自定义微调的起点，不适合直接拿来做 RAG 问答。

**指令版（instruct / chat / it）**在基座之上做了监督微调（SFT），再用人类偏好数据做对齐。InstructGPT 的论文把这一步描述为"用人类反馈训练模型遵循指令"（引用 [1]）。它带来两个变化：模型学会了按对话格式回应，也学会了拒答和澄清。代价是引入了一层"助手的说话方式"，有时会盖过原始知识。

**推理版（reasoning / thinking）**在指令版基础上，用强化学习训练模型先写出较长的推理过程再给答案。DeepSeek-R1 的技术报告展示了这条路线：模型在给出最终答案前生成一段思维链，数学和代码类任务的准确率显著提升（引用 [2]）。Qwen3.5-9B 默认开启思考模式，可以通过 enable_thinking=False 关闭（引用 [3]）。

对本书的 RAG 场景，选择顺序通常是：指令版优先；需要多步推理时开思考；基座版只在微调时用。

为什么版本号比型号更重要 ​

同一个"9B"，不同代际的差别可能比 9B 和 14B 的差别还大。

Qwen3.5-9B 与 Qwen3-8B 都是 8–9B 量级，但前者换了分词器（词表 24.8 万 vs 15.2 万）、改了架构（混合线性注意力）、扩了上下文（262,144 vs 40,960）。这些变化会直接改变你的显存账本、首字延迟和检索片段能塞多少——不是"效果稍微好一点"那么简单。

所以选型时至少要记下四件事：家族、代际、尺寸、变体。只写"9B 模型"是不合格的记录。

名字里的 Q4 不是模型的一部分 ​

Q4_K_M 是量化格式，属于文件，不属于模型。同一个 Qwen3.5-9B，可以有 Q4_K_M、Q5_K_M、Q8_0 等多个版本，参数结构完全相同，只是权重精度不同。

一个常见的混淆是：看到"Q4"就以为模型变小了、能力下降了。准确的说法是：模型没变，权重被压得更粗了，能力会有损失，损失多大取决于量化方法和模型本身（第四部分专门评估）。第二部分的选型只讨论"选哪个模型"，量化是选完之后的第二个决定。

本书的三个模型 ​

模型家族/代际总参数激活参数上下文思考模式协议
Qwen3.5-9BQwen 3.59B9B（dense）262,144默认开，可关Apache-2.0
Qwen3-14BQwen 314.8B14.8B（dense）40,960可切换Apache-2.0
Gemma-4-26B-A4BGemma 426B约 4B（MoE）262,144可配置Apache-2.0

（参数与上下文取自各自的 config.json 与模型卡，引用 [3][4][5]。）

这三者构成一组有意义的对照：9B dense 是主力，14B dense 用来观察"同代不同尺寸"的差距，26B-A4B 用来观察"总参数大但激活少"的 MoE 行为。它们不构成严格的科学对照——9B 和 14B 不同代，这一点在 2.2 节会明确说明。

版本锁定：一个被低估的习惯 ​

模型仓库会更新。同一个 main 分支下的文件可能在你下次下载时已经变了，导致"上周还能复现的结果这周对不上"。

生产环境应该锁定到具体的 commit hash：

bash
# 下载时指定 revision（示例，hash 以实际仓库为准）
hf download unsloth/Qwen3.5-9B-GGUF \
  Qwen3.5-9B-Q4_K_M.gguf --revision <commit-hash> --local-dir models/

同时在文档里记录：仓库名、commit、文件名、SHA256。四样齐全，才叫"可复现"。

工程含义 ​

  • RAG 用指令版，不用基座版。 基座版不会遵循"只根据材料回答"这种指令。
  • 思考模式要显式配置。 默认值因模型而异，别假设。
  • 对话模板必须匹配模型。 用错模板，指令版也会表现得像基座版（3.3 节）。
  • 记录家族、代际、尺寸、变体、commit。 只写尺寸，等于没记录。

参考资料 ​

  1. Ouyang, L. et al. Training language models to follow instructions with human feedback. arXiv:2203.02155. https://arxiv.org/abs/2203.02155
  2. DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948. https://arxiv.org/abs/2501.12948
  3. Qwen. Qwen3.5-9B 模型卡. https://huggingface.co/Qwen/Qwen3.5-9B
  4. Qwen. Qwen3-14B 模型卡. https://huggingface.co/Qwen/Qwen3-14B
  5. Google. Gemma-4-26B-A4B-it 模型卡. https://huggingface.co/google/gemma-4-26B-A4B-it