NLP 学习笔记（三）：预训练模型与大语言模型 - Bojin Li

这是我在墨大上 COMP90042 NLP 时的笔记，这一篇是关于课程中预训练模型与大语言模型的部分，包括 GPT、BERT、T5、RLHF、Prompting、指令微调，以及 PEFT 和 LoRA。

1. 预训练模型 GPT / BERT / T5

1.1 预训练模型的定义

对于 NLP 模型，第一层可以用 pretrained word embeddings 来初始化，而不是随机权重；
在多种 NLP 任务中，这是一个简单易得的性能提升；
但即使使用了 pretrained word embeddings，大多数网络的其他权重仍然是随机初始化的——这正是"预训练整个模型"（而非只预训练词向量）要解决的问题。

演进逻辑：word2vec（只预训练词向量，上下文无关）→ ELMo/GPT/BERT（整模型预训练，上下文相关表示）→ T5（把多种任务统一成文本到文本）、更大规模的语言模型。

1.2 GPT（Generative Pre-trained Transformer）

GPT-1（2018）

一个基于 Transformer 的语言模型；
预训练目标：预测下一个词（autoregressive LM）；
论文：Improving Language Understanding by Generative Pre-Training。

训练/模型细节

项目	内容
子词切分	Byte-Pair Encoding (BPE)
规模	12 层 Transformer，117M 参数
预训练语料	BookCorpus
语料特点	包含 7000 本风格多样的独特书籍，提供大量连续文本（长程依赖更易学）

适配下游任务（Downstream tasks）

对于分类任务：处理完整个 input 后，在末尾加一个额外的 classification layer；
- 这个 classification layer 是随机初始化的。
用下游任务的数据集继续训练整个网络——这被称为微调（fine-tuning）。

微调示例：情感分类

初始化一个分类层 $W_y$ ，用最后一个词的输出 $h_n$ 作为输入：

P(y\mid x) = \text{softmax}(h_n W_y)

训练样本：<s> I love pizza! <e> → 标签 positive
Loss $= -\log(0.4)$ （模型只给 positive 0.4 概率时）

微调示例：问答（Question Answering）

GPT-1 论文的问答任务采用多项选择：将上下文、问题和每个候选答案拼接，分别打分，再在候选答案之间做 softmax。
从段落中预测答案的 start / end 位置是另一种抽取式问答设计，BERT 的 SQuAD 微调采用了这种方式；不要把两种任务形式混为一谈。

GPT 的效果（GLUE 等基准）

基准	任务类型
MNLI, RTE	textual entailment 文本蕴含
QQP, STS-B, MRPC	sentence similarity 句子相似度
QNLI	answerability prediction 可回答性预测
SST-2	sentiment analysis 情感分析
CoLA	sentence acceptability 句子可接受性

1.3 BERT（Bidirectional Encoder Representations from Transformers, 2018）

核心区别：使用双向 self-attention。

每个目标词会同时关注左右两侧的上下文词来构建其上下文表示（GPT 只能看左侧）；
论文：arXiv:1810.04805。

图 1-1　BERT 的两阶段：左侧无监督预训练（Masked LM + NSP），右侧各下游任务微调（分类/问答/序列标注）。来源：Devlin et al., BERT, NAACL 2019, Figure 1。

预训练目标：Masked Word Prediction（掩码语言模型, MLM）

随机选出约 15% 的 token 作为预测目标；并不是把它们全部替换成 [MASK]。
目标：预测被遮蔽的词。
细节：被选中的 token 中，80% 换成 [MASK]、10% 换成随机词、10% 保持不变，损失只在选中的位置计算。
原始 BERT 还使用 Next Sentence Prediction（NSP）：判断两段文本是否在原文中相邻。

训练/模型细节

项目	内容
子词切分	WordPiece
BERT-base	12 层 Transformer，110M（1.1 亿）参数
BERT-large	24 层 Transformer，340M（3.4 亿）参数
预训练语料	Wikipedia + BookCorpus
训练成本	需要多块 GPU，耗时数天

适配下游任务

与 GPT 类似——加一个 classification layer；
但 BERT 使用一个特殊的首 token [CLS]，把它对应的表示作为分类层的输入：

P(y \mid x) = \text{softmax}(h_{[\text{CLS}]} W_y)

示例：垃圾邮件检测（Spam Detection）

TEXT

[CLS] Congratulations! You won $1000 ... [SEP]
   ↓（BERT 双向编码）
 h_[CLS] → 分类层 → spam / not spam

BERT 的效果：原论文在当时的 GLUE、SQuAD 等语言理解基准上取得了领先结果；这些是特定数据集、模型和实验设置下的比较。

Encoder（编码器）

BERT 的 bidirectional transformer 也称为 transformer encoder；
每个输出词都依赖双向上下文（bidirectional attention）；
优点：双向上下文适合分类、抽取和序列标注等理解任务；
局限：原始 BERT 的 MLM 目标和双向注意力没有直接提供从左到右的自回归生成方式。它可以作为生成系统的编码器，或经过额外设计用于生成，但不能直接当成 GPT 式解码器使用。

图 1-2　三种预训练架构对比：BERT（双向 Transformer，Encoder-only）、OpenAI GPT（单向，Decoder-only）、ELMo（双向 LSTM）。来源：Devlin et al., 2019, Figure 3。

1.4 Decoder 与 Encoder-Decoder

Decoder（解码器）

GPT 的 unidirectional transformer 也称为 transformer decoder；
每个 output 词只依赖左侧（unidirectional / causal attention）；
既适用于 classification，也能用于 generation；
对每个位置而言，可用上下文与 encoder 不同；分类效果还取决于模型规模、训练目标、数据和微调方式，不能仅凭单向或双向注意力断定。

Encoder-Decoder（编码器-解码器）

动机：把输入的表示与输出的生成分开处理，适合输入、输出长度可能不同的 seq2seq 任务。
结合方式：
1. 用 Encoder 处理 input（双向理解，得到丰富的源端表示）
2. 用 Decoder 生成 output（自回归逐词生成，并通过 cross-attention 读取 encoder 输出）

三者对比

架构	代表	注意力	擅长
Encoder-only	BERT	双向	分类、抽取式问答、序列标注
Decoder-only	GPT 系列、LLaMA	单向（causal）	生成、few-shot、对话
Encoder-Decoder	T5、BART、原始 Transformer	编码双向 + 解码单向 + cross-attention	翻译、摘要等 seq2seq 任务

1.5 T5（Text-to-Text Transfer Transformer, 2019）

图 1-3　T5 的 text-to-text 框架：翻译、分类、摘要、回归全部表述为“输入文本 → 输出文本”。来源：Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020, Figure 1。

预训练目标：Span Corruption（片段替换）

随机选出若干个连续 token 片段，每个片段用一个不同的哨兵（sentinel）替换，让模型生成被挖掉的内容；
例：Thank you <X> me to your party <Y> week → 目标 <X> for inviting <Y> last <Z>

图 1-4　Span corruption：把连续片段替换为哨兵 <X> <Y> <Z>，让模型生成被挖掉的内容。来源：Raffel et al., 2020, Figure 2。

其他可选目标（对比）

目标	例子	说明
Prefix language model（前缀语言模型）	cows love to → eat grass	给定前缀，预测接下来的内容（类似 GPT，但用 encoder-decoder 实现）
Masked language model（掩码语言模型）	cows <M> <M> eat grass → cows love to eat grass	随机遮蔽词语并预测（类似 BERT）
Shuffling（打乱顺序）	grass cows to love eat → cows love to eat grass	把词序打乱，训练模型还原
Drop tokens（丢弃词语）	cows love grass → cows love to eat grass	删除部分输入词语，训练模型重建完整原文

T5 最终采用 span corruption：它在论文的对比实验中取得了有竞争力的效果，并缩短了需要生成的目标序列。这是实验设计上的取舍，不代表它在所有任务上都优于其他目标。

预训练语料：Filtered C4（Colossal Clean Crawled Corpus）

C4 是过滤后的网页文本；
原始网页含大量噪声：非语言文本、非英文内容、攻击性内容等；
用一系列 heuristics（启发式规则）过滤（如只保留以标点结尾的句子、过滤脏词页面、去重等）；
比起数量，质量也很重要（C4 比同量级的原始爬取数据效果好得多）。

微调

把**所有任务都表述为"文本到文本"（text-to-text）**的问题；
用下一个词预测的目标进行微调；
例：翻译 translate English to German: That is good. → Das ist gut.；分类 sst2 sentence: it's great → positive。

T5 的效果

项目	内容
规模版本	small (60M)、base (220M)、large (770M)、3B、11B
GLUE	包含 9 个语言理解任务的基准
CNN/DM	摘要任务
WMT	机器翻译任务
结论	最大版本在论文评测的多个基准上取得了当时领先的结果；不等同于通用语言能力达到人类水平

2. 大语言模型 LLM 与 RLHF

2.1 LLM 的定义

**大语言模型（LLM）**通常指在大量文本上预训练、规模较大的语言模型，并没有统一的参数量门槛。本节主要讨论 Transformer 模型，以及它们的零样本泛化、上下文学习和指令遵循能力。

相关方法的发展线索可概括为：统计语言模型 → 神经语言模型 → 整模型预训练 → 扩大模型与数据规模 → 指令微调和偏好对齐。Word2Vec 是词表示方法，不应直接等同于完整的语言模型；规模扩大与对齐也不是同一件事。

2.2 生成式预训练 Transformer（GPT 系列）与能力涌现

预训练/微调在 NLP 中的作用：预训练可通过"参数初始化"的方式提升下游任务性能。

模型	参数量	层数	维度	训练数据	训练方式
GPT-1	117M	12	768	BookCorpus (~1B words)	自监督预训练 + 监督微调
GPT-2	1.5B	48	1600	WebText (~10B words)	自监督预训练
GPT-3	175B	96	12288	Common Crawl、WebText、书籍、Wikipedia 的混合语料	自监督预训练

GPT-2 的涌现能力：Zero-shot learning（零样本学习）

具备在没有示例、不进行梯度更新的情况下完成多种任务的能力；
在无需针对具体任务 fine-tuning 的前提下，其在语言建模基准上超越了当时的 SoTA。

GPT-3 与 In-Context Learning

GPT-3 论文中的模型共训练约 300B tokens；训练数据来自多种语料的加权混合。文件大小、词数与 token 数不是相同的统计口径。
某些规模（如 175B）的模型在没有示范样例的情况下也能理解指令（zero-shot）；
通过在输入前加上一些该任务的示例来指定任务；
这种方式称为 in-context learning（上下文学习），强调学习新任务时不进行梯度更新。

图 2-1　GPT-3 的四种使用方式：fine-tuning（更新参数）与 zero-shot / one-shot / few-shot（不更新参数，只给示例）。来源：Brown et al., Language Models are Few-Shot Learners, NeurIPS 2020, Figure 2.1。

Traditional fine-tuning vs In-context Learning

维度	Traditional Fine-tuning	In-context Learning
参数	需要更新模型参数	不更新任何参数
数据	需要大量标注样本	只需少量 demonstrations（甚至 0 个）
流程	预训练 → 每个任务单独微调 → 部署多个模型	一个模型 + 不同 prompt
成本	每个任务都要训练与存储	推理成本高（长 prompt），但无训练成本

In-Context Learning 的局限（Limitations）

对 prompt 的格式、示例选择、示例顺序非常敏感；
受上下文长度限制，放不下太多示例；
复杂推理任务（多步算术）上仍会失败 → 引出 CoT（第 3 节）；
不更新参数意味着适应发生在当前上下文中，不能据此推断模型已经稳定掌握了任务规律；仍需在新样本、不同提示和示例设置下检验。

2.3 InstructGPT 与 RLHF（Reinforcement Learning from Human Feedback）

整体思路：收集人类示范与偏好，用监督学习和强化学习调整模型行为。下面以 InstructGPT 论文公开的三阶段流程为例；它也帮助理解 ChatGPT 的训练思路，但不能把 InstructGPT 的数据量和模型配置直接当成 ChatGPT 的完整训练细节。

图 2-2　RLHF 三阶段：(1) SFT 监督微调 → (2) 训练 Reward Model → (3) 用 PPO 按奖励优化策略。来源：Ouyang et al., Training language models to follow instructions with human feedback (InstructGPT), 2022, Figure 2。

第一步：监督式微调 SFT（Supervised Fine-Tuning）

1. 高质量数据收集（High-quality Data Collection）

设置提示列表：确定用于训练的具体 prompts（问题或语句）；
请求期望的答案：收集针对这些 prompts 的期望答案；
数据由**人类专家或众包（crowdsourcing）**生成，确保质量与多样性；
InstructGPT 论文的 SFT 训练集约有 13,000 条 prompts 及相应示范。

2. 预训练模型的微调（Fine-tuning Pretrained Model）

InstructGPT 论文以预训练的 GPT-3 为基础模型；
预训练提供通用语言能力，SFT 再让模型适应所需的回答方式；
用上述高质量数据优化参数，使其更好适应"听指令"的任务形态。

第二步：奖励模型 RM（Reward Model）

1. 输出生成（Output Generation）

从 prompt list 中选一个 prompt；
用第一步训练好的 SFT 模型生成约 4–9 个输出。

2. 人工评级（Human Ranking）

标注员根据输出质量从最好到最差排序；
论文中的 RM 数据集约含 33,000 条 prompts。每次排序可形成多组两两比较；prompt 数、回答数和比较对数需要区分。

3. 奖励模型训练（Reward Model Training）

输入：prompt + 对应的 SFT 模型输出；
训练信号：同一 prompt 下，哪个回答更受标注员偏好；
输出：模型预测的 scalar reward（标量奖励）。训练使较受偏好的回答获得更高分，并非直接回归标注员给出的绝对分数；
论文使用 **6B（60 亿参数）**的奖励模型。

第三步：近端策略优化 PPO（Proximal Policy Optimization）

1. 抽取提示：从数据集中抽取 prompt，如"写一个关于墨尔本的故事"；论文的 PPO 数据集约含 31,000 条 prompts，这一阶段不需要逐条人工示范答案；

2. 生成回答：用当前的策略模型生成文本。策略初始来自 SFT 模型，随后在训练迭代中由 PPO 更新；并不是每次面向用户生成回答时都即时更新参数；

3. 奖励计算：生成的输出交由第二步训练好的 Reward Model 评估，返回一个 scalar reward；

4. 策略更新：根据奖励值用 PPO 算法更新策略。

PPO 是一种专门设计用于控制策略更新幅度的强化学习算法，能在保证训练稳定性的同时有效利用新的奖励信息优化策略（避免一步更新过大导致模型崩坏）。

额外约束：训练中加入相对 SFT 参考模型的 KL 惩罚，限制策略偏移，缓解过度优化奖励模型带来的问题；它不能保证消除所有 reward hacking。

对话能力的适配

对话模型还需要多轮对话等形式的数据与评估，关注上下文衔接、拒绝不当请求和格式遵循。这属于训练目标与数据设计，不是上述三阶段流程中的固定“第四步”。

参考：InstructGPT 论文。

2.4 其他 LLM：LLaMA

LLaMA（Large Language Model Meta AI）

这里指 2023 年的第一代 LLaMA，参数规模为 7B–65B。

相比 GPT-3 175B，LLaMA 探索用较小模型训练更多 token，以改善给定推理预算下的表现；不能概括成所有 LLaMA 都比所有 GPT 小；
使用公开可获取的网页、书籍、Wikipedia、GitHub、论文等数据。包含代码数据，不等于已经证明代码是所有推理能力提升的唯一原因；
采用 decoder-only Transformer，并组合已有的设计：
- Pre-normalisation，使用 RMSNorm；
- SwiGLU 激活；
- Rotary Position Embedding（RoPE）；
论文公开了架构和训练设置，首代权重按当时的研究许可提供给研究者；“公开权重”与无限制的开源许可需要区分。

参考：LLaMA 论文。

2.5 LLM 的三种核心能力

能力	含义	例子
In-Context Learning（情境中学习）	根据当前输入中的指令、示例与信息适应任务，不更新模型参数；跨会话记忆需要另外的系统机制	给两个示例后照做新任务
Step-by-Step Reasoning（逐步推理）	把复杂问题拆解为小步骤	数学计算、编程、逻辑推理
Instruction Following（指令跟随）	遵循用户给出的明确指令，成为多种任务的高效工具	按规定写邮件、按食谱生成步骤、在软件环境中执行命令序列

3. Prompting 与思维链

3.1 Zero-shot 与 Few-shot In-Context Learning

通过在实际输入前添加该任务的 examples 来指定任务目标；
这种方式称为 in-context learning，强调模型在学习新任务时不进行梯度更新（no gradient updates）；
也就是说，模型只根据当前输入的上下文内容来推理或生成结果。

设置	示例数	说明
Zero-shot	0	只给指令，如 "Translate to French: cheese"
One-shot	1	给 1 个示例
Few-shot	数个	给若干示例，性能通常更好

3.2 Prompting 的局限

如果任务太复杂，Prompting LLM 可能无法正确推理，特别是当任务包含丰富内容或多步骤推理时。

失败案例（Standard Prompting）

Q: 食堂有 23 个苹果，用了 20 个做午餐，又买了 6 个，现在有多少？ A: 模型输出 27 ❌

这个示例的错误答案没有正确完成 $23-20+6$ 的计算；不能把 27 解释为 $23+6$ ，因为后者应为 29。

替代方案：Change the prompting style ✅（换一种提示方式，即下面的 CoT）

3.3 思维链提示（Chain-of-Thought, CoT）

定义：在示例中提供中间推理步骤，或提示模型生成这样的步骤，再得到最终答案。原论文在多种算术、常识和符号推理任务上观察到了提升，但中间步骤并不保证正确。

对比

方式	提示	输出
Standard Prompting	仅给出问题与答案	The answer is 27 ❌
Chain-of-Thought Prompting	逐步引导模型推理	The answer is 9 ✅

示例

Q: 食堂原有 23 个苹果，用了 20 个做午饭，又买了 6 个，现在有多少？ A: 原来有 23 个，用了 20 个，所以还剩 3 个。再买了 6 个，所以总共是 9 个。

图 3-1　左：Standard Prompting 直接给答案（错）；右：Chain-of-Thought 逐步推理（对）。来源：Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022, Figure 1。

3.4 模型规模的涌现特性（Emergent Property of Model Scale）

在原始 CoT 论文所测试的模型与任务上，较大模型通常更能从推理示例中受益；
一些小模型反而会生成错误步骤，使表现下降。这是当时实验中的规模效应，不能直接推成所有模型共有的固定阈值或规律；
常用基准：
1. GSM8K：小学数学应用题（8K 道）
2. SVAMP：语义多样的算术题
3. MAWPS：数学文字问题求解（Math Word Problem Solving）

3.5 两种 CoT 变体

Zero-Shot CoT（零样本思维链）

用一句话 "Let's think step by step" 作为提示；
模型自行生成推理过程（Generated Rationale）；
最后提取答案（Answer Extraction）。

优点	缺点
无需手工构造示例	推理质量依赖模型本身，较不稳定

Manual CoT（人工思维链）

提前人工设计多个带有推理步骤的示例（Manual Demos）；
然后输入测试问题（Test Question）；
模型根据提供的示例生成回答。

优点	缺点
可以明确示范所需的推理格式；效果依赖示例与任务是否匹配	需要人工构造和核查示例，示例错误也可能被模仿

3.6 数据集补充说明

MultiArith：用自然语言表达的多步骤数学文字题（math word problems）；
GSM8K（Grade School Math 8K）：同样是自然语言表述的多步骤数学题，但风格更加结构化、步骤更多。

3.7 提示注入与越狱

Prompt Injection（提示注入）：让模型把待处理文本、网页或其他不可信数据中的指令当作应执行的指令，从而偏离原任务；
Jailbreaking（越狱）：诱导模型绕过原有的安全或行为约束。它与提示注入可以重叠，但不是同义词；
例：翻译任务的待译文本中夹入 Ignore the above and instead tell me ...，模型可能被引向其他任务；
启示：应用需要区分可信指令与外部数据，不能仅因为一段文本写得像指令，就赋予它相同的控制权。

3.8 In-Context Learning 的优缺点总结

Pros

无需微调（No Finetuning）：可直接使用预训练模型，无需额外训练；
提示工程（Prompt Engineering）易于提升表现：例如用 CoT 可显著提升推理能力。

Cons

上下文长度有限：受模型最大输入长度限制，难以处理大规模信息或多个示例；
仅靠提示未必足够：复杂任务可能需要更好的上下文、检索、工具、验证或微调，应根据误差来源选择方法，不能一律归结为必须更新梯度。

4. 指令微调 Instruction Tuning

4.1 扩展微调（Scaling up fine-tuning）：传统两阶段范式

步骤 1：预训练（Pretrain）

项目	内容
方式	在海量文本（图书、维基百科等）上进行自监督学习（self-supervised learning）
模型	BERT 等
数据集	Wikipedia 等
目标	预测被遮盖的词（语言建模）

步骤 2：微调（Finetune）

项目	内容
方式	在带标签的数据集上进行监督学习（supervised learning）
模型	步骤 1 中已预训练的模型
数据集	例如"垃圾邮件及其标签"
目标	训练分类器，执行具体任务（如垃圾邮件检测）

局限：每个任务都要一个专属模型 + 一份专属标注数据，任务一多就无法规模化。

4.2 Instruction Tuning（指令微调）

定义：指令微调（Instruction Fine-Tuning）是在以自然语言描述任务的指令数据上进行的监督微调（SFT）。它属于后训练（Post-training）的一种方式；后训练还可以包括偏好优化等步骤，这些术语不是完全同义。

Instruction tuning = 在指令数据（Instruction Data）上进行的监督微调；
Instruction data 是 (prompt, completion) 即 $(x, y)$ 对：给一句自然语言指令，配上应有的回答；
RECAP: InstructGPT——用"指令 + 人类期望输出"训练，让模型学会"听懂任务描述"，而不是记住某个具体任务。

SFT 细节

高质量数据收集
- 设定 prompt list
- 请求预期的答案
- 由人工创建（Experts and Crowdsourcing）
- 以 InstructGPT 为例，SFT 数据约含 1.3 万条 prompts 及相应示范；不同项目的数据规模并不相同
微调预训练模型
- 从预训练模型开始；InstructGPT 论文使用 GPT-3，不能把所有 SFT 都等同于 GPT-3.5 的训练

它对应第 2 节 InstructGPT 流程中的 SFT 阶段。SFT → RM → PPO 是该论文的具体流程；RLHF 并非只能采用这一种算法组合。

4.3 Alpaca（Stanford Alpaca）

成果：在作者的小规模、单轮指令遵循初步评测中，Alpaca 7B 与 text-davinci-003 表现接近。这不等于二者在所有任务、安全性和可靠性上等价。

学习过程

Step 1 – Seed Generation（种子生成，Self-Instruct）

从 Self-Instruct 种子集合开始，使用 175 条人工编写的"指令–输出"对；
用 text-davinci-003（GPT-3.5）生成更多 instructions；
共生成 52,000 条独特的 instructions 及其对应输出。

Step 2 – Fine-tuning

用 Hugging Face 训练框架对 LLaMA 模型微调；
对 70 亿参数的 LLaMA，在 8 张 80GB A100 上耗时 3 小时；
该次微调计算成本不足 100 美元；生成训练数据另花费不足 500 美元，两者合计不足 600 美元，不包括基础模型预训练成本。

参考：Stanford Alpaca 项目说明。

4.4 T5 的视角：Pretraining / Multi-task Training

做法：先预训练，然后在**多个具体任务（Task A, B, C…）**上微调，并在同样的任务上评估。

新式语言模型的趋势（GPT-3、LLaMA）

不再强调"一个任务一个微调"的方式；
转向在**大规模预训练之后，通过指令或示例进行任务提示（Instruction Prompting）**完成任务，无需特定任务的微调。

4.5 三种范式对比：Pretrain-Finetune vs Prompting vs Instruction Tuning

范式	代表	步骤	特点
Pretrain–Finetune	BERT, T5	Pretrained LM → 在 task A 上微调 → 用于 task A 推理	每个任务训练一个专属模型；通常需要大量 task-specific examples
Prompting	GPT-3	Pretrained LM → 通过 few-shot 提示或提示设计 → 用于 task A	无需参数更新，灵活调用；对提示敏感，性能依赖提示质量
Instruction Tuning	FLAN	预训练 LM → 在多个 task 上通过自然语言指令做指令微调 → 泛化用于新 task A	模型通过语言指令学会执行多种任务；对 unseen task 具备泛化能力

图 4-1　三种范式对比：(A) Pretrain–Finetune 每任务一模型；(B) Prompting 不改参数只改提示；(C) Instruction Tuning 多任务指令微调后可泛化到未见任务。来源：Wei et al., 2022, Figure 2。

4.6 FLAN（Instruction Fine-Tuning）

图 4-2　指令微调总览：把多个任务改写成自然语言指令，微调后再用指令做 zero-shot 推理。来源：Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), ICLR 2022, Figure 1。

核心做法：收集 (instruction, output) 对的示例，覆盖多个任务，并微调一个语言模型。

原始 FLAN 把任务写成自然语言指令，对 137B 的 LaMDA-PT 做多任务指令微调；
后续 Flan-T5 则在 T5 上应用扩展后的指令微调方案，在论文所测试的多种任务上改善了表现。两者的基础模型和数据合集不同，不宜把实验设置混在一起。

Task 设置

项目	内容
任务类型	12 种（含分类任务与生成任务）
数据集	62 个
Unseen tasks 的构造	属于同一 cluster 的任务只能出现在训练集或测试集中，不能同时出现（防止同族任务泄漏，真正考察泛化）
模板	对同一任务手工创建多个模板（multiple templates），增加指令多样性

效果：Zero-shot 的 FLAN 在三个未见任务类型上的表现，相较于 zero-shot 和 few-shot 的 GPT-3，在经过指令微调后有明显提升。

泛化到新任务（Generalisation to New Tasks）

原始 FLAN 实验中，效果随模型规模而变化，较大模型更能从指令微调中受益；
模型容量不足是可能的解释之一，也需要考虑任务、数据与训练设置，不能据此断言小模型都无法理解指令。

扩展任务数量（后续 FLAN 版本）

项目	数量
扩展范围	后续工作将指令微调扩大到约 1.8K 个任务，并研究模型规模与 CoT 数据的影响
Held-out tasks	未参与微调训练，用于测泛化

其他发现

存在不同类型的 fine-tuning data formats（如带/不带解释、带/不带候选选项）；
联合对 non-CoT 与 CoT 数据进行微调，可以同时提升两类评估任务的表现；
在原论文评估的未见任务类型上，FLAN 的 zero-shot 表现可与 GPT-3 的 few-shot 相比；这是有特定基准和模型设置的实验结论。

参考：原始 FLAN、Scaling Instruction-Finetuned Language Models。

4.7 优点与局限

Benefits

方法简单直接（就是监督学习 + 指令格式）；
能很好地泛化到未见过的任务（generalise to unseen tasks）。

Limitations

高质量数据有成本：可以使用人工示范、已有数据集或模型合成数据，但都需要整理、去重和质量控制；
某些任务没有"标准答案"：如开放式创意生成（"写一个关于我家狗和孩子的故事"），很难定义正确答案；
目标不一致性问题：对于生成式模型，SFT 通常通过预测示范回答的下一个 token 来训练；模仿示范不等于直接优化所有人类偏好。

因此，我们可能会进一步采用 RLHF 来优化模型行为。

4.8 能力与局限的讨论

流畅地输出文字，不等于已经解决可靠性和泛化问题。下面区分研究中的观察与更广泛的判断。

讨论角度	要点
事实与规划	模型可以辅助写作，也可能编造事实或给出不可行的计划；指令微调和人类反馈不能提供正确性保证，具体能力需要实际评测
自我纠错	相关研究发现，在缺少外部反馈的特定推理设置下，仅要求模型检查并修改自己的答案，未必提高正确率，甚至会把原本正确的答案改错；不能由此推出所有带工具或验证器的纠错方法都无效
Reversal Curse（反转诅咒）	在某些实验中，训练模型掌握“A 是 B”后，它未能自动掌握“B 是 A”的对应查询。这说明对一类表达的拟合未必自动带来对逆向表达的泛化，而非说所有自然语言关系都可以直接反转

参考：Large Language Models Cannot Self-Correct Reasoning Yet、The Reversal Curse。

5. 参数高效微调 PEFT 与 LoRA

5.1 为什么需要 PEFT

PLM 与 LLM：前者强调经过预训练，后者强调规模；两者并非互斥类别，也没有统一的参数量分界。本节关心的是模型变大后，如何降低任务适配的成本。

随着模型规模增大，微调成本越来越高

第一步 Pretrain：使用大量文本，学习通用语言能力；
第二步 Finetune：在多个具体任务上适配，通常标签很少。

模型变大后，完整微调会面临更多成本与风险：

问题	说明
可扩展性问题	计算成本巨大（每个任务都要存一份完整模型副本）
训练不稳定性	如过拟合、梯度干扰
灾难性遗忘（Catastrophic forgetting）	在新任务上微调后，模型遗失原本的通用能力

In-context learning 与 fine-tuning 是两种互补的适配方式。ICL 无需更新参数，但仍有局限：

局限	说明
Inefficiency	每次推理都必须重新处理整个 prompt（长 prompt 成本高）
Performance	只给提示未必达到目标任务所需的效果；与微调的优劣需要在相同设置下比较
Sensitivity	对提示语的措辞、例子顺序等非常敏感
Lack of clarity	单次提示下的成功，不等于模型能在其他输入和提示下稳定泛化

→ 于是出现 From Fine-tuning to Parameter-efficient Fine-tuning。

5.2 历史脉络

计算机视觉（CNN）：早期常用"只微调最后几层 / 只更新最后一层（only update last layer）"；
NLP：虽然"只微调最后一层"曾是主流，但在 NLP 中整体微调所有参数效果更佳，也更昂贵，因此催生了参数高效微调方法。

5.3 只微调部分参数（Fine-tuning only some parameters）

1. 大模型难以完全微调

以 GPT-3 175B 等已公开规模的模型为例，完整微调需要大量计算与显存；不要为未公开参数量的模型填入未经证实的数值；
微调所有参数不仅计算成本高，还难以部署和更新（每个任务一份权重）。

2. SOTA 模型本身就严重 over-parameterized

实际上，我们并不需要更新全部参数，也能让模型在下游任务中表现得很好。

3. Parameter-efficient fine-tuning 能接近完整微调的性能

在一些任务和设置下，使用少量可学习参数（如 Adapter、LoRA、Prompt Tuning）可以接近完整微调的效果；仍存在效率与适配能力之间的取舍。

5.4 模块化与组合式表示（Modular and Compositional Representations）

a) Models are increasing in size

随着参数量不断扩大（GPT-3 175B），Full Fine-tuning 变得计算昂贵、资源密集；
因此研究者转向 PEFT（Adapter、LoRA、Prefix Tuning），只微调一小部分参数即可适应新任务，极大降低训练开销。

b) Unseen Scenarios（未见场景）

实际应用中，模型常面临训练时未见过的语言、任务或领域（少数民族语言、跨模态任务等）；
Module Composition 尝试组合不同技能模块（如语言模块与任务模块），研究其能否泛化到未见组合；组合结构本身不保证分布外表现。

c) Catastrophic Interference（灾难性干扰）

传统微调中，新任务容易覆盖旧知识，导致 Catastrophic Forgetting；
采用模块化结构作为 Inductive Bias，可把不同任务/知识划分进不同模块，减少相互干扰，提高稳定性与长期记忆能力。

d) Efficient Updating of Models（高效更新）

当知识快速变化（时政新闻、人物任职变动），全模型重训不现实；
可以探索更新小模块或使用外部知识，减少重训成本；但知识是否正确更新、是否影响其他行为，仍需验证。

5.5 架构概览：三个计算函数（Three Computation Functions）

PEFT 方法可归为对"冻结的预训练模型"做三类组合：

类型	做法	代表
加法式（Addition-based）	在模型旁挂小的可训练模块	Adapter、Prefix Tuning、Prompt Tuning
选择式（Selection-based）	选择部分参数或稀疏的更新量进行训练	BitFit（只训 bias）、Diff Pruning
重参数化式（Reparameterization）	学习权重的低秩/压缩变化量	LoRA、Compacter

5.6 稀疏子网络与剪枝（Sparse Subnetworks）

稀疏性与参数高效适配有关，但普通剪枝不等于 PEFT。

剪枝通常关注压缩模型：选择要保留的连接，移除其他连接，并可能重新训练；
稀疏微调方法则可以选择少量需要更新的参数，或学习稀疏的参数变化量；
两者都使用“选择子集”的思想，但训练目标、哪些权重冻结，以及最终部署方式需要分别说明。

稀疏子网络（Sparse Subnetworks）

模块参数中的一种常见归纳偏置是稀疏性（sparsity）；
最常见的稀疏性实现方法是剪枝（pruning）；
Pruning 可以看作应用一个二值掩码（binary mask），该掩码决定模型中每个连接是否保留，从而生成一个子网络（subnetwork）；
剪枝过程中，会移除一部分 lowest-magnitude weights（绝对值最小的权重）的连接；
没有被剪去的权重会被 re-trained（重训）；
可以一次性剪枝，也可以分多轮剪枝与重训；效果取决于模型、剪枝比例和训练设置。

TEXT

初始训练 → 剪枝(mask) → 重训 → 再剪枝 → 再重训 → … → 稀疏子网络
   (one-shot pruning：只剪一次；iterative pruning：多轮)

图 5-1　迭代剪枝的一种流程：训练 → 加二值掩码剪枝 → 重训，按需要重复。

5.7 LoRA（Low-Rank Adaptation）

核心概念

微调大型模型成本高昂 → 不直接更新整个权重矩阵 $W$ ，而是只更新权重的变化量 $\Delta W$ ：

W' = W + \Delta W

将可训练的更新量参数化为两个小矩阵的乘积：

\Delta W = B \cdot A

这里省略常用的缩放系数 $\alpha/r$ ，只突出低秩更新的结构。

"Low-rank" 的意思

$W$ 是原来的权重矩阵，不要求它本身一定满秩；
LoRA 只学习一个 low-rank 变化；
"Low-rank" 意味着 compressed representation of change（变化量的压缩表示），其中秩 $r \ll d$ 。

效率（Efficient）：参数量计算

假设原始矩阵 $W$ 为 $1024 \times 1024$ （共 1,048,576 ≈ 100 万个参数）；
LoRA 使用两个较小的矩阵 $A\,(r \times d)$ 、 $B\,(d \times r)$ ，其中 $r \ll d$ ；
例： $d = 1024,\ r = 8$ 时：
- $A$ : $8 \times 1024$ ， $B$ : $1024 \times 8$
- 可训练参数总数： $2 \times 1024 \times 8 = \mathbf{16{,}384}$
相比完整参数量，更新的参数减少约 98.4%：

1 - \frac{16{,}384}{1{,}048{,}576} \approx 98.4\%

图 5-2　LoRA 的重参数化：冻结 $W$ ，只训练低秩矩阵 $B$ 、 $A$ ，前向为 $h = Wx + BAx$ 。来源：Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022, Figure 1。

前向计算（Low-Rank Composition）

\text{Output} = (W + B\cdot A)\,x = W\cdot x + B\cdot(A\cdot x)

符号	含义
$W$	冻结的预训练权重（不更新）
$A, B$	仅这两个是 trainable
$x$	输入向量，通常是 token embedding 或上一层的输出

反向传播：只计算并保存需要训练的参数梯度，优化器只更新 $A$ 和 $B$ ； $W$ 保持冻结。计算仍可能经过冻结的线性层向前传播梯度，不能理解成这一层完全不参与反向传播。

优势

仅训练矩阵 $A$ 和 $B$ ，而不是整个 $W$ ；
不引入额外的 inference latency（推理时可以把 $BA$ 合并回 $W'$ ，结构不变）；
减少需要保存的参数梯度与优化器状态。LoRA 论文在 GPT-3 175B 的实验中报告了显存需求约降至完整微调的 1/3、训练速度提升约 25%；具体收益依赖实现与训练设置；
可以为每个任务保存独立的小型 LoRA 权重，按需切换；原始权重没有被覆盖，但应用某个适配器后的行为仍需评估。

LoRA 及其变体

变体	特点
LoRA	标准低秩适配，插在注意力/FFN 的线性层旁
LoRA-FA	冻结下投影矩阵 $A$ ，只训练上投影矩阵 $B$ ，减少激活显存
QLoRA	4-bit 量化基础模型 + LoRA 微调，单卡可训大模型
HydraLoRA	使用共享 $A$ 与多个 $B$ 的非对称结构，并通过路由组合不同组件，处理混合数据中的不同成分

5.8 PEFT 方法对比

下表中的参数比例是常见量级示意，实际取决于模型、模块大小和可训练层数。

方法	可训练参数	是否改结构	推理开销
Full Fine-tuning	100%	否	无（但每任务一份）
LoRA	取决于秩和注入位置，通常远少于全部参数	增加训练旁路，部署时可合并	合并后通常不增加
Adapter	1%–5%	是（插层）	略增（串行）
Prefix/Prompt Tuning	<0.1%	否	占用上下文长度
BitFit	~0.01%（仅 bias）	否	无
稀疏选择／剪枝	取决于方法；普通压缩剪枝不一定属于 PEFT	选择连接或更新量	稀疏参数减少不一定自动带来实际加速

参考：LoRA、LoRA-FA、QLoRA、HydraLoRA。