LLaMA on Khari Z's LogBook

从大语言模型到训练闭环：我现在怎样理解 LLM

Sat, 18 Apr 2026 00:00:00 +0000

从 Transformer 模块继续往上看，LLM 可以先当成一个系统来理解：概率语言模型底座 + 分阶段训练 + 输入输出协议。

这篇文章把两条线接起来：一条是训练目标、能力边界和对齐思路，另一条是 tokenizer、样本构造、loss mask、generate 等实现位置。复习时重点看：每个抽象能力最后落到哪种数据格式、训练信号或推理流程。

一、先把 LLM 的整体框架理顺

理解“大语言模型”时，先不要停在“更大、更强”。更清楚的入口是三个问题：底层目标是什么，能力为什么会变化，训练为什么要分阶段。

1.1 LLM 的本质仍然是语言模型

LLM 的底层目标可以先记成一句话：它仍然是在做 next-token prediction。

如果写成概率形式，就是：

$$ p(x) = \prod_{t=1}^{T} p(x_t \mid x_{1:t-1}) $$

这意味着，无论模型后来表现得多像助手、推理器或知识库，底座训练仍是在学习“给定前文，下一个 token 最可能是什么”。这个目标会直接决定 Pretrain 的数据组织、SFT 的标签构造，以及推理阶段逐 token 生成的方式。

1.2 LLM 的强，来自规模化系统共同作用

不要把 LLM 简化成“更大的 BERT”或“参数更多的 Transformer”。这样说太省事，也容易漏掉训练系统本身。

模型能力的变化，背后往往是多种因素一起放大的结果：

模型规模变大
数据规模变大
训练算力变大
训练策略和数据配比更成熟

所以，LLM 的能力提升不能只解释成“网络更深”。更准确的说法是：规模化训练让语言建模系统在某些规模阈值后表现出新的能力形态。

1.3 区分“涌现、上下文学习、指令遵循、逐步推理”

这些词都和“模型变强”有关，但对应不同层面的能力：

涌现能力 说的是：当模型、数据和训练规模跨过某个阈值之后，一些原来很弱甚至几乎看不见的能力会突然变得明显。
上下文学习（In-Context Learning） 说的是：模型不需要参数更新，只通过 prompt 和 few-shot 示例，就能在当前上下文里临时适配一个任务。
指令遵循 说的是：模型开始学会把输入理解成“用户要求我做什么”，并按要求组织回答。
逐步推理 说的是：模型在处理复杂问题时，能够通过中间步骤把问题拆开，而不是一次性拍出最终答案。

复习时不要把它们混成一句“模型更聪明了”。看到一个模型表现变好，要继续追问：是知识覆盖更充分、上下文利用更好、指令理解更稳，还是推理步骤更完整？

1.4 多语言、长上下文、多模态是扩展能力，幻觉是系统风险

还有一个判断要尽早建立：能力扩展和可靠性不是同一件事。

模型可以支持多语言、长上下文，甚至接入图像等多模态输入，但这些能力不等于可靠性。幻觉提醒我们：LLM 仍是概率生成系统，输出流畅并不等于事实正确。

复习锚点：长上下文不等于稳定推理，助手风格不等于事实可靠，语言流畅性不等于知识正确性。

1.5 Pretrain、SFT、RLHF/DPO 之所以要分开，是因为它们在解决不同问题

大模型训练要拆成阶段理解，因为每个阶段解决的问题不同。先看粗线条：

图 1. 训练 LLM 的三个阶段，图片引自 Happy-LLM 原文

阶段	核心目标	复习要点
Pretrain	学知识底座与文本分布	让模型先变成一个会建模语言分布的系统
SFT	把模型塑形成能回答问题的助手	重点是教会它输入输出格式、回答风格和对话模式
RLHF / DPO	让模型更符合人类偏好与安全边界	重点是“更有用、更安全、更符合偏好”

“训练一个 LLM”不是单一动作。Pretrain、SFT 和偏好对齐各自改变不同东西：知识底座、回答行为、偏好边界。只有把阶段分开，后面看代码、数据格式和 loss 才不会混。

从 ChatGPT 的训练流程看，对齐阶段还能拆成监督微调和偏好优化两层。SFT 和 RLHF/DPO 不能混成一步，因为前者主要学习“怎样回答”，后者主要学习“哪种回答更符合偏好和安全要求”。

图 2. ChatGPT 三阶段训练示意，图片引自 Happy-LLM 原文

二、再把最小训练闭环看清楚

前面解释“为什么这样训练”，接下来要看这些目标在代码和流程里落在哪里。最小训练闭环可以整理成：

tokenizer -> 数据样本构造 -> Decoder-Only 模型 -> loss 计算 -> 训练循环 -> 生成

只要这条链路打通，tokenizer、loss、mask、训练循环和生成就不再是散点概念。

2.1 Tokenizer 是一整套输入协议

Tokenizer 不只是“把文本切成 token”的工具，它是一套输入协议。

除了 BPE、ByteLevel、NFKC 这些技术选择，还要关注：

特殊 token 如何定义
对话起止符号如何设计
角色边界如何标记
编码和解码是否能稳定保真
chat template 如何把多轮对话拼成单个序列

把 tokenizer 理解成协议后，很多问题会变得具体：模型如何知道当前是 user 还是 assistant，哪里应该开始回答，多轮历史怎样保持结构。这些都由特殊 token 和 chat template 规定。

2.2 看 Decoder-Only 模型，不要只背模块名

看 LLaMA 风格模型结构时，不要只背模块名，要问每个模块解决什么问题：

先看整体结构，再把下面这些设计放回主干：

图 3. LLaMA2 结构图，图片引自 Happy-LLM 原文

RMSNorm：让深层网络训练更稳定。
RoPE：把位置信息注入注意力计算，常用于相对位置建模。
GQA 和 repeat_kv：在注意力结构里节省 KV 缓存和推理显存。
SwiGLU 风格的 MLP：增强前馈网络的表达能力。
embedding 和 lm_head 权重共享：让输入词表表示和输出词表预测共用一套参数。

复习模型结构时，按“模块 -> 解决的问题 -> 对训练/推理的影响”来记。

2.3 Pretrain 和 SFT 共享 CLM 底座，差别在监督边界

无论是预训练数据，还是 SFT 数据，最底层都还是在做自回归建模。也就是说，数据往往还是会被整理成类似这样的形式：

X = input_ids[:-1]
Y = input_ids[1:]

所以可以记住：Pretrain 和 SFT 共享同一个 CLM 底座。

它们的差别主要在“哪些 token 参与监督”。预训练通常让整个序列参与语言建模；SFT 会把 system/user/history 作为上下文输入，但只让 assistant 的回答部分承担 loss。

loss_mask 的作用就是把“只塑形回答行为”落到训练信号边界上。

2.4 generate 解释了为什么生成是逐 token 进行的

生成时，模型会在当前上下文上做前向传播，只取最后一个位置的 logits，再根据 temperature、top_k 等采样策略决定下一个 token。新 token 会被拼回上下文，进入下一轮循环。

这个过程解释了三个现象：

为什么训练和推理虽然相关，但运行方式并不完全一样
为什么采样参数会显著影响模型输出风格
为什么大模型输出会一点点长出来

模型重复、越说越跑偏、不同采样参数导致结果差异很大，都和这个逐 token 生成循环有关。

三、把概念和实现一一对应

复习 LLM 时，最有效的方法是把抽象概念和代码落点对应起来：训练目标对应数据样本，助手行为对应 loss mask，对话能力对应 chat template，长上下文对应位置编码和注意力开销。

3.1 从 next-token prediction 到 X/Y shift

next-token prediction 在代码里会直接变成 X/Y shift：

输入看前面的 token
标签预测后一个 token

这就是最基本的 shift 操作。所谓“语言模型底座”，就是一种会直接决定数据组织方式和 loss 定义的训练协议。

3.2 从“助手塑形”到 loss_mask

SFT 的目标是“助手行为塑形”。落实到实现里，问题会收缩成一句话：

哪些 token 应该参与监督，哪些 token 只是上下文条件？

loss_mask 把 SFT 的监督边界写进了数据里：用户输入和历史对话提供条件，assistant 的回答部分提供监督信号。这个边界比“做监督微调”这个词本身更重要。

3.3 从“多轮对话能力”到 special tokens 与 chat template

多轮对话能力也要落到数据格式上。只说它来自 SFT 和对齐还不够，还要看训练数据如何被组织成模型能理解的序列。

special tokens 和 chat_template 会显式标记：

一轮对话从哪里开始
user 和 assistant 的边界在哪里
多轮历史应该怎样拼接
哪一段是当前应该回答的部分

从这个角度看，对话能力是一套训练协议、数据格式和监督方式共同塑造出来的行为结果。

3.4 从“长上下文与位置感”到 RoPE

长上下文也要落到结构和成本上。它不仅是“能放更多文本”，还牵涉位置编码、训练长度、推理缓存和注意力开销。

RoPE 解决的是“位置信息如何进入注意力计算”。长上下文能力不是一句宣传语，背后有位置编码设计、上下文长度外推策略和推理时 KV cache 成本。

如果把视角进一步缩到注意力层里，这张图就很适合用来理解 RoPE、GQA 和 repeat_kv 为什么总是一起出现：

图 4. LLaMA2 Attention 结构图，图片引自 Happy-LLM 原文

复习时要把“模型能力”和“结构选择”对应起来，而不是把二者当作独立话题。

3.5 从“训练阶段”到“训练闭环”

训练阶段的拆分，最后也会落实成一条可执行的训练闭环。一个能跑起来的训练系统，至少要把很多基础环节连起来：

学习率调度
warmup
梯度累积
AMP 混合精度
梯度裁剪
checkpoint 保存

训练不是只写一个 loss。模型目标、数据格式、mask 设计、优化器设置、训练循环、checkpoint 和生成行为共同构成闭环。缺少其中任意一块，对系统的理解都会变得片面。

四、这篇先留下哪些结论

复习这篇时，我先保留下面几条。

4.1 LLM 先是语言模型，然后才是助手

它的根始终在 next-token prediction。只有先接受这一点，后面关于对齐、助手风格、推理链、工具调用之类的能力，才有一个稳定的起点。

4.2 LLM 的能力要拆开看，不能混成一句“它更聪明了”

涌现、上下文学习、指令遵循、逐步推理对应不同类型的能力变化。把这些概念分开，是理解模型行为边界的前提。

4.3 三阶段训练对应的是三类不同问题

Pretrain 学的是语言和知识底座，SFT 学的是助手式回答行为，RLHF/DPO 学的是偏好与安全边界。它们对应不同目标。

4.4 很多“能力”最后都会落成训练协议

对话能力会落到 special tokens 和 chat_template，SFT 会落到 loss_mask，语言建模目标会落到 X/Y shift，长上下文能力会落到 RoPE 与注意力成本。

4.5 理解 LLM，要把概念、数据和代码三层接起来

只学概念容易空，只看代码容易碎。要同时问两件事：为什么这样设计，它在实现里长什么样。

五、写在最后：怎样理解 LLM

这篇最后可以整理成一个框架：

LLM = 概率语言模型底座 + 分阶段训练 + 一整套输入输出协议。

以后再看一个模型、训练脚本或对齐方法时，可以用四个问题检查：

它的底层目标是什么？
它属于训练链条的哪一个阶段？
它改变的是知识、行为、偏好，还是输入输出协议？
它在实现里最终落到了什么地方？

这套检查方式能把“大语言模型为什么这样训练”和“代码为什么这样写”连起来。继续学习 LoRA、QLoRA、DPO 或其他对齐训练时，也可以沿着这条线看：它改的是参数更新方式、监督边界、偏好目标，还是输入输出协议。

参考资料

预训练语言模型复习：BERT、T5、GPT/LLaMA 各走了哪条路

Tue, 14 Apr 2026 00:00:00 +0000

从 Transformer 的实现细节往上看，预训练语言模型的分化主要由三件事决定：目标函数、信息流方式、工程可扩展性。

这篇文章主要回答三个问题：BERT 为什么适合理解任务，T5 为什么适合统一的 text-to-text 任务，GPT/LLaMA 为什么在大模型阶段更常见。复习时先抓住一个判断框架：模型能看见什么信息、被训练去预测什么、能否高效扩展。

一、在比较模型之前，先把三个底层件讲清楚

1.1 Tokenizer 是文本到 token 的输入协议

无论 BERT、T5 还是 GPT，第一步都是先把文本稳定地映射为离散 token ID。这个过程通常包括：

文本规范化
预切分
子词切分
映射到词表 ID
加入特殊 token

Tokenizer 要在 词表规模、未登录词覆盖率、序列长度、训练与推理成本 之间做平衡。
这也是为什么 BERT 会用 WordPiece，RoBERTa 更偏向 byte-level BPE，而 LLaMA 又会在 tokenizer 设计上继续优化编码效率。

1.2 Embedding 的本质，是一个可学习的查表矩阵

Embedding 层本质上是一个可训练的查表矩阵：

$$ E \in \mathbb{R}^{V \times d} $$

其中 $V$ 是词表大小，$d$ 是隐层维度。输入一个 token ID，本质上就是从矩阵里取出对应的一行向量。
如果写成 one-hot 形式，它等价于：

$$ e = x^\top E $$

也正因为如此，词表一旦变大，Embedding 参数会迅速膨胀，这正是 ALBERT 要做 Embedding 分解的直接背景。

1.3 预训练目标，往往比“模型名字”更能决定能力边界

同样是 Transformer，不同预训练目标会强烈影响模型最终擅长什么：

MLM：更适合理解和表征学习
span corruption：适合条件生成和统一任务接口
CLM：最贴近真实生成过程，训练目标与推理过程一致

所以比较预训练模型时，不要只记模型名字，要先看它的预训练目标。目标函数会决定模型更偏理解、条件生成，还是开放式续写。

二、三条路线：分别解决三类问题

架构	代表模型	预训练目标	注意力可见性	更擅长的任务
Encoder-Only	BERT / RoBERTa / ALBERT	MLM（+ NSP / SOP）	双向	分类、匹配、检索、序列标注
Encoder-Decoder	T5	span corruption / 去噪重建	Encoder 双向，Decoder 因果，并带 Cross-Attention	翻译、摘要、问答、条件生成
Decoder-Only	GPT / LLaMA	CLM	因果单向	开放生成、对话、代码、长文本续写

这张表给出一个复习判断：

模型结构和“它想看见什么信息、又想预测什么目标”强耦合。

三、BERT 路线：为什么它能统治预训练模型时代的 NLU

BERT 把 预训练 + 微调 这条路推成了 NLP 的主范式：模型先在大规模语料上学习通用表征，再到具体任务数据上微调。

图 1. BERT 架构图，图片引自 Happy-LLM 原文

3.1 BERT 为什么天然适合理解任务

BERT 本质上是把 Transformer 的 Encoder 堆起来。
这里要记两个特点：

双向自注意力：每个 token 都能同时看到左边和右边上下文。
输出的是上下文化表示：它更适合作为文本编码器，而不是直接生成器。

这意味着 BERT 很擅长回答这类问题：

这句话表达的是正面还是负面？
这两个句子是不是语义相近？
这个 token 在句子里应该被标成什么类别？

这些都属于“先理解，再判别”的任务。

3.2 MLM + NSP：BERT 当时怎么做预训练

BERT 最有代表性的预训练任务是 MLM + NSP。

MLM（Masked Language Model） 的核心是“完形填空”：

随机选取 15% token 做预测目标
其中 80% 替换成 <MASK>
10% 随机替换
10% 保持不变

这个设计很巧。它既让模型学习双向上下文，又尽量缓和了“预训练时看见 <MASK>，下游使用时看不见 <MASK>”的分布落差。

NSP（Next Sentence Prediction） 则让模型学习句间关系。
虽然这个任务后来被广泛质疑，但在 BERT 当时的设计里，它表达的是另一个训练诉求：模型不只学 token 级语义，也要学句级关系。

3.3 BERT 之后，大家主要在优化什么

BERT 之后的改进，主要围绕两个瓶颈展开：训练是否充分，以及参数是否冗余。

RoBERTa 的改进方向是“训练得更充分”：

去掉 NSP，只保留 MLM
用动态 masking 替代静态 masking
训练更多 token、更大 batch、更长步数
使用更大的 BPE 词表

它传达出的信号非常明确：很多时候，问题出在训练规模还没打满。

ALBERT 的改进方向则是“把参数做轻”：

Embedding 分解：把 $V \times H$ 变成 $V \times E + E \times H$
跨层参数共享：多层重复计算，但共享同一层参数
用 SOP 替换 NSP，强化句序关系建模

ALBERT 的复习要点是：参数量减少，不等于计算量按比例下降。 它主要减少存储和参数冗余，不等于计算量也会按同样比例下降。

3.4 BERT 路线的边界也很清楚

BERT 直到今天依然非常有用，尤其是在：

标注数据比较充分的分类任务
高吞吐、低延迟的判别式场景
检索、排序、匹配、序列标注

但它的短板同样明显：它不是为原生生成设计的。
如果任务目标是开放式生成，BERT 通常就不再是最自然的选择。

四、T5 路线：把任务统一成 text-to-text

如果说 BERT 偏表征学习，GPT 偏自回归生成，那么 T5 的做法是：把所有任务都表述成 text-to-text。

图 2. T5 架构图，图片引自 Happy-LLM 原文

4.1 为什么 Encoder-Decoder 结构这么自然

T5 保留了完整的 Encoder 和 Decoder：

Encoder 负责把输入“读懂”
Decoder 负责在因果约束下逐步生成输出
Cross-Attention 负责让 Decoder 在每一步都能“按需查询” Encoder 的结果

这套结构非常适合翻译、摘要、生成式问答这类任务，因为它们天然就是：

输入一段文本，输出另一段文本

这和 Seq2Seq 任务的形式完全匹配。

4.2 T5 真正想统一的是任务接口

T5 的基本想法是：所有 NLP 任务都写成文本到文本。

例如：

情感分类：classify: 这是一个很好的产品 -> positive
摘要：summarize: ... -> 摘要文本
翻译：translate English to German: ... -> 德文结果

这种设计把原本碎片化的任务接口统一成同一种输入输出形式：

不需要为每个任务单独设计输出头
不需要为不同任务维护完全不同的输入输出形式
多任务训练和迁移更容易组织

复习 T5 时要记住：它不只是一个 Encoder-Decoder 模型，也是在标准化任务表达方式。

4.3 span corruption 为什么比逐 token mask 更合理

T5 的预训练采用 span corruption：

随机遮蔽连续文本片段
用哨兵 token（如 <extra_id_0>）占位
让 Decoder 重建被遮蔽的原始 span

这比逐 token mask 更贴近自然语言中的“片段恢复”，也更符合 Encoder-Decoder 的生成机制。

4.4 T5 为什么没有成为今天 LLM 的绝对主流

T5 很适合条件生成，但在超大规模时代没有成为最主流基座，主要受工程链路影响：

架构比 Decoder-Only 更复杂
推理链路更长
部署和时延成本通常更高

可以这样记：T5 的优势是任务表达统一；Decoder-Only 的优势是生成链路更简洁、更容易扩展。

五、GPT 路线：为什么大模型时代最终收敛到 Decoder-Only

如果说 BERT 代表预训练模型时代的理解路线，GPT 则代表大模型时代的自回归生成路线。

图 3. GPT 架构图，图片引自 Happy-LLM 原文

5.1 GPT 的设计到底解决了什么问题

GPT 采用 Decoder-Only + CLM 的组合，本质上是在做自回归建模：

$$ p(x) = \prod_{t=1}^{T} p(x_t \mid x_{1:t-1}) $$

这意味着模型在第 $t$ 个位置只能看到历史 token，不能看到未来 token，所以必须使用 causal mask。

这个设计带来几个直接结果：

任务高度匹配：天然就是为生成服务
训练和推理一致：训练时预测下一个 token，推理时也生成下一个 token
结构更简洁：不需要 Encoder，也不需要 Cross-Attention
更容易做大规模扩展：训练、部署、推理链路都更直接

复习 GPT 时要抓住一句话：Decoder-Only + CLM 把训练目标、推理方式和工程扩展统一到了“预测下一个 token”上。

5.2 一个很容易混淆的点：CLM 训练并不慢在“逐 token”

很多人第一次接触 GPT 会以为：既然是自回归，那训练是不是也要一个 token 一个 token 地慢慢跑？

训练阶段：常用 teacher forcing，可以一次前向并行计算所有位置的损失
推理阶段：需要逐 token 自回归生成，因为每一步都依赖上一步生成的新 token

所以 causal mask 限制的是“信息可见性”，不等于训练时完全失去并行性。

5.3 GPT-1 到 GPT-3 验证了什么

从 GPT-1 到 GPT-3，最重要的是一个路线被连续验证了：

模型规模继续增大
预训练数据继续增大
训练工程继续增强
zero-shot / few-shot 开始明显展现价值

这条路线验证了一件事：当 CLM 配上足够大的模型和数据时，模型不只会生成文本，也会在很多理解任务上表现出泛化能力。

这也是为什么后来 LLM 逐步从“预训练 + 微调”范式，走向了“预训练 + 指令跟随 + 上下文学习”的新范式。

六、LLaMA：Decoder-Only 路线走向工程成熟的代表

LLaMA 没有推翻 GPT 的基本方向，而是在 Decoder-Only + CLM 路线上做了更工程化、更容易复用的实现。

图 4. LLaMA 架构图，图片引自 Happy-LLM 原文

6.1 LLaMA 继承了什么

LLaMA 继续采用 Decoder-Only 主干，因此保留了 GPT 路线的几个优点：

单栈解码器，结构清晰
因果建模，目标直接
易于扩展到更大参数量与更长上下文

6.2 LLaMA 又优化了什么

按这部分学习材料，LLaMA 系列的代表性优化包括：

使用 RoPE 注入位置信息，增强相对位置建模能力
在更大版本上引入 GQA 等注意力优化
使用更高质量、更大规模的预训练语料
持续优化 tokenizer 与训练配方

这些改动单看都不是“换范式”，但合在一起，会让同样的 Decoder-Only 路线更稳，也更适合真实应用。

6.3 为什么今天很多 LLM 都接近 LLaMA 路线

进入大模型阶段，基座模型需要同时满足这些条件：

能不能稳定训练到很大
能不能高效推理
能不能方便做指令微调和对齐
能不能作为通用基座支撑聊天、代码、Agent、工具调用

在这几个指标上，Decoder-Only 路线很占便宜。
所以从历史上看，LLaMA 的流行，更像是 GPT 路线进一步工程化后的结果。

七、GLM：一条很有启发性的“融合路线”

GLM 这条路线特别有意思，因为它尝试把 MLM 的双向理解能力 和 CLM 的自回归生成能力 合在一起。

它的几个设计点包括：

blank infilling 式预训练
特殊 attention mask
二维位置编码
在被遮蔽片段内部按自回归顺序生成

这条路线想做的事很直接：既要理解，也要生成。

从今天回头看，GLM 没有成为超大规模基座的主流，但它并不“失败”。
更准确地说，GLM 留下了一个路线判断：

在预训练模型时代，融合式目标很有吸引力；但到超大规模 LLM 阶段，工程可扩展性和训练稳定性会把很多选择重新拉回 CLM 主线。

这也是为什么后续 ChatGLM 系列在大方向上逐渐回归更经典的 CLM 路线。

八、这部分内容的三个复习结论

8.1 架构和目标函数是强绑定的

BERT 的强项来自双向表征学习
T5 的强项来自 Encoder-Decoder 的条件生成
GPT/LLaMA 的强项来自 CLM 的一致性和扩展性

8.2 预训练模型时代和大模型时代，最优解不一定相同

在 PLM 时代，BERT 这样的 Encoder-Only 模型完全可以统治 NLU。
但到了 LLM 时代，随着模型和数据规模继续放大，Decoder-Only 开始在综合能力上占据主导。

8.3 实现细节背后都有取舍

Tokenizer、Embedding、mask、位置编码、参数共享，这些看似实现细节的设计，都对应具体的建模取舍。复习时要能回答：

它为什么要这样看信息？
它为什么要这样定义训练目标？
它为什么在那个时代有效，又为什么在另一个时代失势？

九、写在最后：模型路线的认知框架

如果前面对 Transformer 的学习主要回答“模型是怎么工作的”，那么这一篇要回答的是：为什么不同阶段会偏向不同架构。

BERT 的优势来自双向理解，T5 的优势来自 text-to-text 统一接口，GPT/LLaMA 的优势来自简单一致的生成目标和更直接的规模化路径。GLM 则提醒我：融合式目标很有启发，但路线能不能走远，还要看工程上能不能稳定放大。

继续往下看时，可以重点追问一个问题： 为什么一旦进入 LLM 时代，Decoder-Only + CLM 会从“其中一条路线”变成“几乎默认路线”？
有了目标函数、信息流和扩展性这三个维度，这个问题就可以具体分析，而不只是凭感觉判断。