2.2训练过程：模型能力从哪里来

先给直觉

可以把训练分成三个阶段来理解：

1. 先大量阅读，学语言和世界知识。
2. 再学习听人类指令。
3. 最后学习哪种回答更符合人类偏好。

这不是所有模型的完整训练细节，但足够帮助入门者理解主线。

预训练：从大量文本中学模式

预训练阶段，模型会接触大量文本，学习预测下一个 Token。

它会学到：

• 语言结构
• 常见事实
• 写作风格
• 代码模式
• 推理痕迹
• 不同领域的表达方式

但预训练模型不一定像聊天助手。它可能更像一个强大的文本续写器。

如果你输入：

请解释什么是重力。

未经指令训练的模型不一定会稳定回答，它可能续写成一篇文章，也可能模仿网页格式，甚至继续编对话。

指令微调：学会按要求回答

指令微调让模型学习：

• 用户提出任务。
• 模型应该给出有帮助的回答。
• 回答要符合格式、语气和约束。

训练数据通常包含大量“指令-回答”样本。

例如：

指令：用三句话解释什么是 Token。
回答：Token 是模型处理文本时的基本单位……

经过指令微调，模型更像一个助手，而不是纯续写器。

偏好优化：学会更符合人类期待

两个回答都可能语法正确，但人类更喜欢其中一个。

例如用户问：

我应该如何开始学习 AI？

回答 A：

AI 是人工智能的缩写。你可以学习数学、编程、机器学习、深度学习、NLP、CV、RL……

回答 B：

如果你刚开始，先别急着啃论文。建议按三步走：理解基本概念，学会使用 LLM，再补机器学习和深度学习基础。

B 更可能对入门者有帮助。

偏好优化就是让模型更倾向于生成被人类认为有帮助、清楚、安全的回答。RLHF 是其中一种重要路线，此外还有其他偏好优化方法。

数据质量为什么重要

模型不是只靠“多”变强。数据质量很关键。

低质量数据可能带来：

• 错误知识
• 重复内容
• 偏见
• 垃圾格式
• 过时信息
• 有害指令

高质量数据能帮助模型学到更可靠的结构、风格和任务模式。

一个粗糙类比：如果一个学生读了很多书，但里面一半是乱码和谣言，他确实读得多，但你不敢让他当老师。

训练不是精确存储

一个常见误解是：模型训练就是把网页原封不动记住。

更准确地说，训练会调整模型参数，让它学到统计模式和表示结构。模型可能记住某些内容片段，尤其是重复、高频或特殊数据，但它不是一个可精确查询的资料库。

这解释了两个现象：

• 模型可能知道很多常识。
• 模型也可能把事实说错、说混或编造。

案例

同样问：

请用初中生能理解的话解释什么是 Transformer。

不同训练阶段的模型可能表现不同：

• 预训练模型：可能续写一段技术文档。
• 指令微调模型：更可能按要求解释。
• 偏好优化模型：更可能控制语气、结构和安全边界。

用户感受到的“好用”，并不只来自模型大，也来自后续训练和产品层设计。

常见误区

误区 1：训练就是把知识灌进去

训练不是建立一张可查表，而是优化参数，让模型更会生成符合模式的内容。

误区 2：数据越多一定越好

数据质量、去重、覆盖范围、标注方式都很重要。

误区 3：指令微调会凭空创造所有能力

指令微调主要改变模型对任务的响应方式。很多基础能力来自预训练。

误区 4：偏好优化等于让模型永远正确

偏好优化改善回答风格和安全性，但不能消除所有幻觉和错误。

动手练习

找一个模型，分别用两种方式提问：

1. 模糊提问：讲讲 RAG
2. 指令清晰提问：请用 5 个要点解释 RAG，面向没有技术背景的产品经理，每点不超过 40 字，并说明一个常见误区。

比较两个回答：

• 哪个更可用？
• 模型是否更好地服从了结构？
• 你提供的约束改变了什么？

这个练习对应指令训练和 Prompt 设计的实际效果。