NLP 學習筆記（三）：預訓練模型與大語言模型 - Bojin Li

這是我在墨爾本大學修讀 COMP90042 NLP 課程時的筆記。這一篇整理課程中預訓練模型與大語言模型的部分，包括 GPT、BERT、T5、RLHF、Prompting、指令微調，以及 PEFT 和 LoRA。

1. 預訓練模型 GPT / BERT / T5

1.1 預訓練模型的定義

對於 NLP 模型，第一層可以用 pretrained word embeddings 來初始化，而不是隨機權重；
在多種 NLP 任務中，這是一個簡單易行的效能提升；
但即使使用了 pretrained word embeddings，網路中的多數其他權重仍是隨機初始化的——這正是"預訓練整個模型"（而非只預訓練詞向量）要解決的問題。

演進邏輯：word2vec（只預訓練詞向量，上下文無關）→ ELMo/GPT/BERT（整模型預訓練，上下文相關表示）→ T5（把多種任務統一成文字到文字）、更大規模的語言模型。

1.2 GPT（Generative Pre-trained Transformer）

GPT-1（2018）

一個基於 Transformer 的語言模型；
預訓練目標：預測下一個詞（autoregressive LM）；
論文：Improving Language Understanding by Generative Pre-Training。

訓練/模型細節

項目	內容
子詞切分	Byte-Pair Encoding (BPE)
規模	12 層 Transformer，117M 參數
預訓練語料	BookCorpus
語料特點	包含 7,000 本風格多樣的不同書籍，提供大量連續文字（長程依賴更易學）

適應下游任務（Downstream tasks）

對於分類任務：處理完整個輸入後，在末端加上一個分類層（classification layer）；
- 這個分類層是隨機初始化的。
用下游任務的資料集繼續訓練整個網路——這被稱為微調（fine-tuning）。

微調示例：情感分類

初始化一個分類層 $W_y$ ，用最後一個詞的輸出 $h_n$ 作為輸入：

P(y\mid x) = \text{softmax}(h_n W_y)

訓練樣本：<s> I love pizza! <e> → 標籤 positive
Loss $= -\log(0.4)$ （模型僅給 positive 0.4 的機率時）

微調示例：問答（Question Answering）

GPT-1 論文的問答任務採用多項選擇：將上下文、問題和每個候選答案串接，分別評分，再對候選答案的分數套用 softmax。
從段落中預測答案的 start / end 位置是另一種抽取式問答設計，BERT 的 SQuAD 微調採用了這種方式；不要把兩種任務形式混為一談。

GPT 的效果（GLUE 等基準）

基準	任務類型
MNLI, RTE	textual entailment 文字蘊含
QQP, STS-B, MRPC	sentence similarity 句子相似度
QNLI	answerability prediction 可回答性預測
SST-2	sentiment analysis 情感分析
CoLA	sentence acceptability 句子可接受性

1.3 BERT（Bidirectional Encoder Representations from Transformers, 2018）

核心區別：使用雙向 self-attention。

每個目標詞會同時關注左右兩側的上下文詞來建立其上下文表示（GPT 只能看左側）；
論文：arXiv:1810.04805。

圖 1-1　BERT 的兩階段：左側無監督預訓練（Masked LM + NSP），右側各下游任務微調（分類/問答/序列標註）。來源：Devlin et al., BERT, NAACL 2019, Figure 1。

預訓練目標：Masked Word Prediction（遮罩語言模型，MLM）

隨機選出約 15% 的 token 作為預測目標；並非全部都取代為 [MASK]。
目標：預測被遮蔽的詞。
細節：被選中的 token 中，80% 換成 [MASK]、10% 換成隨機詞、10% 保持不變，損失只在選中的位置計算。
原始 BERT 還使用 Next Sentence Prediction（NSP）：判斷兩段文字是否在原文中相鄰。

訓練/模型細節

項目	內容
子詞切分	WordPiece
BERT-base	12 層 Transformer，110M（1.1 億）參數
BERT-large	24 層 Transformer，340M（3.4 億）參數
預訓練語料	Wikipedia + BookCorpus
訓練成本	需要多張 GPU，耗時數天

適應下游任務

與 GPT 類似，加上一個 classification layer；
但 BERT 使用一個特殊的首個 token [CLS]，把它對應的表示作為分類層的輸入：

P(y \mid x) = \text{softmax}(h_{[\text{CLS}]} W_y)

示例：垃圾郵件偵測（Spam Detection）

TEXT

[CLS] Congratulations! You won $1000 ... [SEP]
   ↓（BERT 雙向編碼）
 h_[CLS] → 分類層 → spam / not spam

BERT 的效果：原論文在當時的 GLUE、SQuAD 等語言理解基準上取得了領先結果；這些是特定資料集、模型和實驗設定下的比較。

Encoder（編碼器）

BERT 的雙向 Transformer 也稱為 transformer encoder；
每個輸出詞都依賴雙向上下文（bidirectional attention）；
優點：雙向上下文適合分類、抽取和序列標註等理解任務；
局限：原始 BERT 的 MLM 目標和雙向注意力沒有直接提供從左到右的自迴歸生成方式。它可以作為生成系統的編碼器，或經過額外設計用於生成，但不能直接當成 GPT 式解碼器使用。

圖 1-2　三種預訓練架構對比：BERT（雙向 Transformer，Encoder-only）、OpenAI GPT（單向，Decoder-only）、ELMo（雙向 LSTM）。來源：Devlin et al., 2019, Figure 3。

1.4 Decoder 與 Encoder-Decoder

Decoder（解碼器）

GPT 的單向 Transformer 也稱為 transformer decoder；
每個輸出詞只依賴左側（unidirectional / causal attention）；
既能用於分類，也能用於生成；
對每個位置而言，可用上下文與 encoder 不同；分類效果還取決於模型規模、訓練目標、資料和微調方式，不能僅憑單向或雙向注意力斷定。

Encoder-Decoder（編碼器-解碼器）

動機：把輸入的表示與輸出的生成分開處理，適合輸入、輸出長度可能不同的 seq2seq 任務。
結合方式：
1. 用 Encoder 處理輸入（雙向理解，得到豐富的來源端表示）
2. 用 Decoder 生成輸出（自迴歸逐詞生成，並透過 cross-attention 讀取 encoder 輸出）

三者對比

架構	代表	注意力	擅長
Encoder-only	BERT	雙向	分類、抽取式問答、序列標註
Decoder-only	GPT 系列、LLaMA	單向（causal）	生成、few-shot、對話
Encoder-Decoder	T5、BART、原始 Transformer	編碼雙向 + 解碼單向 + cross-attention	翻譯、摘要等 seq2seq 任務

1.5 T5（Text-to-Text Transfer Transformer, 2019）

圖 1-3　T5 的 text-to-text 框架：翻譯、分類、摘要、迴歸全部表述為「輸入文字 → 輸出文字」。來源：Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020, Figure 1。

預訓練目標：Span Corruption（片段取代）

隨機選出若干個連續 token 片段，每個片段用不同的哨兵標記（sentinel）取代，讓模型生成移除的內容；
例：Thank you <X> me to your party <Y> week → 目標 <X> for inviting <Y> last <Z>

圖 1-4　Span corruption：將連續片段取代為哨兵標記 <X> <Y> <Z>，讓模型生成移除的內容。來源：Raffel et al., 2020, Figure 2。

其他可選目標（對比）

目標	例子	說明
Prefix language model（前綴語言模型）	cows love to → eat grass	給定前綴，預測接下來的內容（類似 GPT，但用 encoder-decoder 實現）
Masked language model（遮罩語言模型）	cows <M> <M> eat grass → cows love to eat grass	隨機遮蔽詞語並預測（類似 BERT）
Shuffling（打亂順序）	grass cows to love eat → cows love to eat grass	把詞序打亂，訓練模型還原
Drop tokens（丟棄詞語）	cows love grass → cows love to eat grass	刪除部分輸入詞語，訓練模型重建完整原文

T5 最終採用 span corruption：它在論文的對比實驗中取得了有競爭力的效果，並縮短了需要生成的目標序列。這是實驗設計上的取捨，不代表它在所有任務上都優於其他目標。

預訓練語料：Filtered C4（Colossal Clean Crawled Corpus）

C4 是過濾後的網頁文字；
原始網頁含大量噪聲：非語言文字、非英文內容、攻擊性內容等；
用一系列 heuristics（啟發式規則）進行篩選（例如只保留以標點結尾的句子、排除含髒話的網頁、移除重複內容等）；
比起數量，品質也很重要（C4 比同量級的原始爬取資料效果好得多）。

微調

將所有任務都表述為「文字到文字」（text-to-text）的問題；
用下一個詞預測的目標進行微調；
例：翻譯 translate English to German: That is good. → Das ist gut.；分類 sst2 sentence: it's great → positive。

T5 的效果

項目	內容
規模版本	small (60M)、base (220M)、large (770M)、3B、11B
GLUE	包含 9 個語言理解任務的基準
CNN/DM	摘要任務
WMT	機器翻譯任務
結論	最大版本在論文評測的多個基準上取得了當時領先的結果；不等同於通用語言能力達到人類水準

2. 大語言模型 LLM 與 RLHF

2.1 LLM 的定義

大語言模型（LLM）通常指在大量文字上預訓練、規模較大的語言模型，並沒有統一的參數量門檻。本節主要討論 Transformer 模型，以及它們的零樣本泛化、情境學習和指令遵循能力。

相關方法的發展線索可概括為：統計語言模型 → 神經語言模型 → 整模型預訓練 → 擴大模型與資料規模 → 指令微調和偏好對齊。Word2Vec 是詞表示方法，不應直接等同於完整的語言模型；規模擴大與對齊也不是同一件事。

2.2 生成式預訓練 Transformer（GPT 系列）與能力湧現

預訓練/微調在 NLP 中的作用：預訓練可透過"參數初始化"的方式提升下游任務效能。

模型	參數量	層數	維度	訓練資料	訓練方式
GPT-1	117M	12	768	BookCorpus (~1B words)	自監督預訓練 + 監督微調
GPT-2	1.5B	48	1600	WebText (~10B words)	自監督預訓練
GPT-3	175B	96	12288	Common Crawl、WebText、書籍、Wikipedia 的混合語料	自監督預訓練

GPT-2 的湧現能力：Zero-shot learning（零樣本學習）

具備在沒有示例、不進行梯度更新的情況下完成多種任務的能力；
在無需針對具體任務 fine-tuning 的前提下，其在語言建模基準上超越了當時的 SoTA。

GPT-3 與情境學習

GPT-3 論文中的模型共訓練約 300B tokens；訓練資料來自多種語料的加權混合。檔案大小、詞數與 token 數不是相同的統計口徑。
某些規模（如 175B）的模型在沒有示範樣例的情況下也能理解指令（zero-shot）；
透過在輸入前加上一些該任務的示例來指定任務；
這種方式稱為 in-context learning（情境學習），強調學習新任務時不進行梯度更新。

圖 2-1　GPT-3 的四種使用方式：fine-tuning（更新參數）與 zero-shot / one-shot / few-shot（不更新參數，只給示例）。來源：Brown et al., Language Models are Few-Shot Learners, NeurIPS 2020, Figure 2.1。

傳統微調與情境學習

維度	Traditional Fine-tuning	In-context Learning
參數	需要更新模型參數	不更新任何參數
資料	需要大量標註樣本	只需少量 demonstrations（甚至 0 個）
流程	預訓練 → 每個任務單獨微調 → 部署多個模型	一個模型 + 不同 prompt
成本	每個任務都要訓練與儲存	推理成本高（長 prompt），但無訓練成本

情境學習的限制

對 prompt 的格式、示例選擇、示例順序非常敏感；
受上下文長度限制，無法放入太多示例；
複雜推理任務（多步算術）上仍會失敗 → 引出 CoT（第 3 節）；
不更新參數意味著適應發生在當前上下文中，不能據此推斷模型已經穩定掌握了任務規律；仍需在新樣本、不同提示和示例設定下檢驗。

2.3 InstructGPT 與 RLHF（Reinforcement Learning from Human Feedback）

整體思路：蒐集人類示範與偏好，用監督學習和強化學習調整模型行為。下面以 InstructGPT 論文公開的三階段流程為例；它也幫助理解 ChatGPT 的訓練思路，但不能把 InstructGPT 的資料量和模型設定直接當成 ChatGPT 的完整訓練細節。

圖 2-2　RLHF 三階段：(1) SFT 監督微調 → (2) 訓練 Reward Model → (3) 用 PPO 按獎勵最佳化策略。來源：Ouyang et al., Training language models to follow instructions with human feedback (InstructGPT), 2022, Figure 2。

第一步：監督式微調 SFT（Supervised Fine-Tuning）

1. 蒐集高品質資料（High-quality Data Collection）

設定提示列表：確定用於訓練的具體 prompts（問題或語句）；
請求期望的答案：蒐集針對這些 prompts 的期望答案；
資料由人類專家或透過群眾外包（crowdsourcing）產生，以確保品質與多樣性；
InstructGPT 論文的 SFT 訓練集約有 13,000 條 prompts 及相應示範。

2. 預訓練模型的微調（Fine-tuning Pretrained Model）

InstructGPT 論文以預訓練的 GPT-3 為基礎模型；
預訓練提供通用語言能力，SFT 再讓模型適應所需的回答方式；
用上述高品質資料最佳化參數，使其更好適應"聽指令"的任務形態。

第二步：獎勵模型 RM（Reward Model）

1. 輸出生成（Output Generation）

從 prompt list 中選一個 prompt；
用第一步訓練好的 SFT 模型生成約 4–9 個輸出。

2. 人工排序（Human Ranking）

標註人員根據輸出品質從最好到最差排序；
論文中的 RM 資料集約含 33,000 條 prompts。每次排序可形成多組兩兩比較；prompt 數、回答數和比較對數需要區分。

3. 獎勵模型訓練（Reward Model Training）

輸入：prompt + 對應的 SFT 模型輸出；
訓練信號：同一 prompt 下，哪個回答更受標註人員偏好；
輸出：模型預測的 scalar reward（標量獎勵）。訓練使較受偏好的回答獲得更高分，而非直接迴歸標註人員給出的絕對分數；
論文使用 6B（60 億參數）的獎勵模型。

第三步：近端策略最佳化 PPO（Proximal Policy Optimization）

1. 抽取提示：從資料集中抽取 prompt，如"寫一個關於墨爾本的故事"；論文的 PPO 資料集約含 31,000 條 prompts，這一階段不需要逐條人工示範答案；

2. 生成回答：用當前的策略模型生成文字。策略初始來自 SFT 模型，隨後在訓練迭代中由 PPO 更新；並不是每次面向使用者生成回答時都即時更新參數；

3. 獎勵計算：生成的輸出交由第二步訓練好的 Reward Model 評估，回傳一個 scalar reward；

4. 策略更新：根據獎勵值用 PPO 演算法更新策略。

PPO 是一種專門設計用於控制策略更新幅度的強化學習演算法，在維持訓練穩定性的同時，有效利用新的獎勵資訊最佳化策略（避免單次更新過大導致模型崩潰）。

額外約束：訓練中加入相對 SFT 參考模型的 KL 懲罰，限制策略偏移，緩解過度最佳化獎勵模型帶來的問題；它不能保證消除所有 reward hacking。

對話能力的適配

對話模型還需要多輪對話等形式的資料與評估，關注上下文銜接、拒絕不當請求和格式遵循。這屬於訓練目標與資料設計，不是上述三階段流程中的固定「第四步」。

參考：InstructGPT 論文。

2.4 其他 LLM：LLaMA

LLaMA（Large Language Model Meta AI）

這裡指 2023 年的第一代 LLaMA，參數規模為 7B–65B。

相比 GPT-3 175B，LLaMA 探索用較小模型訓練更多 token，以改善給定推理預算下的表現；不能概括成所有 LLaMA 都比所有 GPT 小；
使用公開可獲取的網頁、書籍、Wikipedia、GitHub、論文等資料。包含程式碼資料，不等於已經證明程式碼是所有推理能力提升的唯一原因；
採用 decoder-only Transformer，並組合已有的設計：
- Pre-normalisation，使用 RMSNorm；
- SwiGLU 活化；
- Rotary Position Embedding（RoPE）；
論文公開了架構和訓練設定，首代權重按當時的研究授權提供給研究者；「公開權重」與無限制的開放原始碼授權需要區分。

參考：LLaMA 論文。

2.5 LLM 的三種核心能力

能力	含義	例子
In-Context Learning（情境學習）	根據當前輸入中的指令、示例與資訊適應任務，不更新模型參數；跨對話記憶需要另外的系統機制	給兩個示例後照做新任務
Step-by-Step Reasoning（逐步推理）	把複雜問題拆解為小步驟	數學計算、程式設計、邏輯推理
Instruction Following（指令遵循）	遵循使用者給出的明確指令，成為多種任務的有效工具	按規定寫郵件、按食譜生成步驟、在軟體環境中執行命令序列

3. 提示與思維鏈

3.1 零樣本與少樣本情境學習

透過在實際輸入前加入該任務的示例來指定任務目標；
這種方式稱為 in-context learning，強調模型在學習新任務時不進行梯度更新（no gradient updates）；
也就是說，模型只根據當前輸入的上下文內容來推理或生成結果。

設定	示例數	說明
Zero-shot	0	只給指令，如 "Translate to French: cheese"
One-shot	1	給 1 個示例
Few-shot	數個	給若干示例，效能通常更好

3.2 提示的限制

如果任務過於複雜，僅以提示引導 LLM 可能無法正確推理，特別是當任務包含豐富內容或多步驟推理時。

失敗案例（Standard Prompting）

Q: 食堂有 23 個蘋果，用了 20 個做午餐，又買了 6 個，現在有多少？ A: 模型輸出 27 ❌

這個示例的錯誤答案沒有正確完成 $23-20+6$ 的計算；不能把 27 解釋為 $23+6$ ，因為後者應為 29。

替代方案：改變提示方式 ✅（也就是下文的 CoT）

3.3 思維鏈提示（Chain-of-Thought, CoT）

定義：在示例中提供中間推理步驟，或提示模型先產生這些步驟，再得到最終答案。原論文在多種算術、常識和符號推理任務上觀察到改善，但中間步驟並不保證正確。

對比

方式	提示	輸出
Standard Prompting	僅給出問題與答案	The answer is 27 ❌
Chain-of-Thought Prompting	逐步引導模型推理	The answer is 9 ✅

示例

Q: 食堂原有 23 個蘋果，用了 20 個做午飯，又買了 6 個，現在有多少？ A: 原來有 23 個，用了 20 個，所以還剩 3 個。再買了 6 個，所以總共是 9 個。

圖 3-1　左：Standard Prompting 直接給答案（錯）；右：Chain-of-Thought 逐步推理（對）。來源：Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022, Figure 1。

3.4 模型規模的湧現特性（Emergent Property of Model Scale）

在原始 CoT 論文所測試的模型與任務上，較大模型通常更能從推理示例中受益；
一些小模型反而會生成錯誤步驟，使表現下降。這是當時實驗中的規模效應，不能直接推成所有模型共有的固定門檻或規律；
常用基準：
1. GSM8K：小學數學應用題（8K 道）
2. SVAMP：語義多樣的算術題
3. MAWPS：數學文字題求解（Math Word Problem Solving）

3.5 兩種 CoT 變體

Zero-Shot CoT（零樣本思維鏈）

用一句話 "Let's think step by step" 作為提示；
模型自行產生推理過程（Generated Rationale）；
最後提取答案（Answer Extraction）。

優點	缺點
無需手動建立示例	推理品質取決於模型本身，較不穩定

Manual CoT（人工思維鏈）

提前人工設計多個帶有推理步驟的示例（Manual Demos）；
然後輸入測試問題（Test Question）；
模型根據提供的示例生成回答。

優點	缺點
可以明確示範所需的推理格式；效果依賴示例與任務是否匹配	需要人工建立和檢查示例，示例錯誤也可能被模仿

3.6 資料集補充說明

MultiArith：用自然語言表達的多步驟數學文字題（math word problems）；
GSM8K（Grade School Math 8K）：同樣是自然語言表述的多步驟數學題，但風格更加結構化、步驟更多。

3.7 提示注入與越獄

Prompt Injection（提示注入）：讓模型把待處理文字、網頁或其他不可信資料中的指令當作應執行的指令，從而偏離原任務；
Jailbreaking（越獄）：誘導模型繞過原有的安全或行為約束。它與提示注入可以重疊，但不是同義詞；
例：翻譯任務的待譯文字中夾入 Ignore the above and instead tell me ...，模型可能被引向其他任務；
啟示：應用需要區分可信指令與外部資料，不能僅因為一段文字寫得像指令，就賦予它相同的控制權。

3.8 情境學習的優缺點

優點

無需微調（No Finetuning）：可直接使用預訓練模型，無需額外訓練；
提示工程（Prompt Engineering）易於提升表現：例如用 CoT 可顯著提升推理能力。

缺點

上下文長度有限：受模型最大輸入長度限制，難以處理大規模資訊或多個示例；
僅靠提示未必足夠：複雜任務可能需要更好的上下文、檢索、工具、驗證或微調，應根據誤差來源選擇方法，不能一律歸結為必須更新梯度。

4. 指令微調

4.1 擴展微調（Scaling up fine-tuning）：傳統兩階段範式

步驟 1：預訓練（Pretrain）

項目	內容
方式	在海量文字（圖書、維基百科等）上進行自監督學習（self-supervised learning）
模型	BERT 等
資料集	Wikipedia 等
目標	預測被遮蓋的詞（語言建模）

步驟 2：微調（Finetune）

項目	內容
方式	在帶標籤的資料集上進行監督學習（supervised learning）
模型	步驟 1 中已預訓練的模型
資料集	例如"垃圾郵件及其標籤"
目標	訓練分類器，執行具體任務（如垃圾郵件偵測）

局限：每個任務都要一個專屬模型 + 一份專屬標註資料，任務一多就無法規模化。

4.2 Instruction Tuning（指令微調）

定義：指令微調（Instruction Fine-Tuning）是在以自然語言描述任務的指令資料上進行的監督微調（SFT）。它屬於後訓練（Post-training）的一種方式；後訓練還可以包括偏好最佳化等步驟，這些術語不是完全同義。

Instruction tuning = 在指令資料（Instruction Data）上進行的監督微調；
Instruction data 是 (prompt, completion) 即 $(x, y)$ 對：給一句自然語言指令，配上應有的回答；
RECAP: InstructGPT——用"指令 + 人類期望輸出"訓練，讓模型學會"聽懂任務描述"，而不是記住某個具體任務。

SFT 細節

蒐集高品質資料
- 設定 prompt list
- 請求預期的答案
- 由人工建立（專家或群眾外包）
- 以 InstructGPT 為例，SFT 資料約含 1.3 萬條 prompts 及相應示範；不同專案的資料規模並不相同
微調預訓練模型
- 從預訓練模型開始；InstructGPT 論文使用 GPT-3，不能把所有 SFT 都等同於 GPT-3.5 的訓練

它對應第 2 節 InstructGPT 流程中的 SFT 階段。SFT → RM → PPO 是該論文採用的具體流程；RLHF 並不限於這一種演算法組合。

4.3 Alpaca（Stanford Alpaca）

成果：在作者的小規模、單輪指令遵循初步評測中，Alpaca 7B 與 text-davinci-003 表現接近。這不等於二者在所有任務、安全性和可靠性上等價。

訓練過程

步驟 1：種子生成（Self-Instruct）

從 Self-Instruct 種子集合開始，使用 175 組人工撰寫的「指令–輸出」配對；
用 text-davinci-003（GPT-3.5）生成更多 instructions；
共生成 52,000 組不同的 instructions 及其對應輸出。

步驟 2：微調

用 Hugging Face 訓練框架對 LLaMA 模型微調；
對 70 億參數的 LLaMA，在 8 張 80GB A100 上耗時 3 小時；
該次微調計算成本不足 100 美元；生成訓練資料另花費不足 500 美元，兩者合計不足 600 美元，不包括基礎模型預訓練成本。

參考：Stanford Alpaca 專案說明。

4.4 T5 的視角：Pretraining / Multi-task Training

做法：先預訓練，再於多個具體任務（Task A, B, C…）上微調，並在相同任務上評估。

新式語言模型的趨勢（GPT-3、LLaMA）

不再強調"一個任務一個微調"的方式；
轉向在大規模預訓練後，透過指令或示例提示任務（Instruction Prompting）來完成任務，無需特定任務的微調。

4.5 三種範式對比：Pretrain-Finetune vs Prompting vs Instruction Tuning

範式	代表	步驟	特點
Pretrain–Finetune	BERT, T5	Pretrained LM → 在 task A 上微調 → 用於 task A 推理	每個任務訓練一個專屬模型；通常需要大量 task-specific examples
Prompting	GPT-3	Pretrained LM → 透過 few-shot 提示或提示設計 → 用於 task A	無需參數更新，靈活呼叫；對提示敏感，效能依賴提示品質
Instruction Tuning	FLAN	預訓練 LM → 在多個 task 上透過自然語言指令做指令微調 → 泛化用於新 task A	模型透過語言指令學會執行多種任務；對 unseen task 具備泛化能力

圖 4-1　三種範式對比：(A) Pretrain–Finetune 每任務一模型；(B) Prompting 不改參數只改提示；(C) Instruction Tuning 多任務指令微調後可泛化到未見任務。來源：Wei et al., 2022, Figure 2。

4.6 FLAN（Instruction Fine-Tuning）

圖 4-2　指令微調總覽：把多個任務改寫成自然語言指令，微調後再用指令做 zero-shot 推理。來源：Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), ICLR 2022, Figure 1。

核心做法：蒐集 (instruction, output) 對的示例，覆蓋多個任務，並微調一個語言模型。

原始 FLAN 把任務寫成自然語言指令，對 137B 的 LaMDA-PT 做多任務指令微調；
後續 Flan-T5 則在 T5 上應用擴展後的指令微調方案，在論文所測試的多種任務上改善了表現。兩者的基礎模型和資料合集不同，不宜把實驗設定混在一起。

任務設定

項目	內容
任務類型	12 種（含分類任務與生成任務）
資料集	62 個
未見任務的建立方式	屬於同一 cluster 的任務只能出現在訓練集或測試集中，不能同時出現（避免同類任務洩漏，以確實考察泛化能力）
模板	對同一任務手動建立多個模板（multiple templates），增加指令多樣性

效果：Zero-shot 的 FLAN 在三個未見任務類型上的表現，相較於 zero-shot 和 few-shot 的 GPT-3，在經過指令微調後有明顯提升。

泛化到新任務（Generalisation to New Tasks）

原始 FLAN 實驗中，效果隨模型規模而變化，較大模型更能從指令微調中受益；
模型容量不足是可能的解釋之一，也需要考慮任務、資料與訓練設定，不能據此斷言小模型都無法理解指令。

擴展任務數量（後續 FLAN 版本）

項目	數量
擴展範圍	後續工作將指令微調擴大到約 1.8K 個任務，並研究模型規模與 CoT 資料的影響
保留任務（Held-out tasks）	未參與微調訓練，用於測泛化

其他發現

存在不同類型的 fine-tuning data formats（如帶/不帶解釋、帶/不帶候選選項）；
聯合對 non-CoT 與 CoT 資料進行微調，可以同時提升兩類評估任務的表現；
在原論文評估的未見任務類型上，FLAN 的 zero-shot 表現可與 GPT-3 的 few-shot 相比；這是有特定基準和模型設定的實驗結論。

參考：原始 FLAN、Scaling Instruction-Finetuned Language Models。

4.7 優點與局限

優點

方法簡單直接（就是監督學習 + 指令格式）；
能很好地泛化到未見過的任務（generalise to unseen tasks）。

限制

高品質資料需要成本：可以使用人工示範、既有資料集或模型合成資料，但都需要整理、移除重複內容及品質控管；
某些任務沒有"標準答案"：如開放式創意生成（"寫一個關於我家狗和孩子的故事"），很難定義正確答案；
目標不一致性問題：對於生成式模型，SFT 通常透過預測示範回答的下一個 token 來訓練；模仿示範不等於直接最佳化所有人類偏好。

因此，我們可能會進一步採用 RLHF 來最佳化模型行為。

4.8 能力與局限的討論

流暢地輸出文字，不等於已經解決可靠性和泛化問題。下面區分研究中的觀察與更廣泛的判斷。

討論角度	要點
事實與規劃	模型可以輔助寫作，也可能編造事實或提出不可行的計畫；指令微調和人類回饋不能保證正確性，具體能力需要實際評估
自我糾錯	相關研究發現，在缺少外部回饋的特定推理設定下，僅要求模型檢查並修改自己的答案，未必提高正確率，甚至會把原本正確的答案改錯；不能由此推論所有使用工具或驗證器的自我修正方法都無效
Reversal Curse（反轉詛咒）	在某些實驗中，訓練模型掌握「A 是 B」後，它未能自動掌握「B 是 A」的對應查詢。這說明對一類表達的擬合未必自動帶來對逆向表達的泛化，而非說所有自然語言關係都可以直接反轉

參考：Large Language Models Cannot Self-Correct Reasoning Yet、The Reversal Curse。

5. 參數高效率微調 PEFT 與 LoRA

5.1 為什麼需要 PEFT

PLM 與 LLM：前者強調經過預訓練，後者強調規模；兩者並非互斥類別，也沒有統一的參數量分界。本節關心的是模型變大後，如何降低任務適配的成本。

隨著模型規模增大，微調成本越來越高

第一步：預訓練（Pretrain）：使用大量文字，學習通用語言能力；
第二步：微調（Finetune）：在多個具體任務上適配，通常標籤很少。

模型變大後，完整微調會面臨更多成本與風險：

問題	說明
可擴展性問題	計算成本巨大（每個任務都要存一份完整模型副本）
訓練不穩定性	如過擬合、梯度干擾
災難性遺忘（Catastrophic forgetting）	在新任務上微調後，模型遺失原本的通用能力

情境學習與微調是兩種互補的適應方式。ICL 無需更新參數，但仍有局限：

局限	說明
Inefficiency	每次推理都必須重新處理整個 prompt（長 prompt 成本高）
Performance	只給提示未必達到目標任務所需的效果；與微調的優劣需要在相同設定下比較
Sensitivity	對提示語的措辭、例子順序等非常敏感
Lack of clarity	單次提示下的成功，不等於模型能在其他輸入和提示下穩定泛化

→ 因此，研究從完整微調轉向參數高效率微調（Parameter-efficient Fine-tuning）。

5.2 歷史脈絡

電腦視覺（CNN）：早期常用"只微調最後幾層 / 只更新最後一層（only update last layer）"；
NLP：雖然"只微調最後一層"曾是主流，但在 NLP 中整體微調所有參數效果更佳，也更昂貴，因此催生了參數高效率微調方法。

5.3 僅微調部分參數

1. 大模型難以完全微調

以 GPT-3 175B 等已公開規模的模型為例，完整微調需要大量計算與 GPU 記憶體；對於未公開參數量的模型，不應填入未經證實的數值；
微調所有參數不僅計算成本高，還難以部署和更新（每個任務一份權重）。

2. 頂尖模型本身已高度過度參數化

實際上，我們並不需要更新全部參數，也能讓模型在下游任務中表現得很好。

3. 參數高效率微調可接近完整微調的表現

在一些任務和設定下，使用少量可學習參數（如 Adapter、LoRA、Prompt Tuning）可以接近完整微調的效果；仍存在效率與適配能力之間的取捨。

5.4 模組化與組合式表示（Modular and Compositional Representations）

a) 模型規模持續增加

隨著參數量不斷擴大（GPT-3 175B），Full Fine-tuning 變得計算昂貴、資源密集；
因此研究者轉向 PEFT（Adapter、LoRA、Prefix Tuning），只微調一小部分參數即可適應新任務，極大降低訓練開銷。

b) Unseen Scenarios（未見場景）

實際應用中，模型常面臨訓練時未見過的語言、任務或領域（少數民族語言、跨模態任務等）；
Module Composition 嘗試組合不同技能模組（如語言模組與任務模組），研究其能否泛化到未見組合；組合結構本身不保證分布外表現。

c) Catastrophic Interference（災難性干擾）

傳統微調中，新任務容易覆蓋舊知識，導致 Catastrophic Forgetting；
採用模組化結構作為 Inductive Bias，可把不同任務/知識劃分進不同模組，減少相互干擾，提高穩定性與長期記憶能力。

d) Efficient Updating of Models（高效更新）

當知識快速變化（時政新聞、人物任職變動），全模型重訓不現實；
可以探索更新小模組或使用外部知識，減少重訓成本；但知識是否正確更新、是否影響其他行為，仍需驗證。

5.5 架構概覽：三種計算方式

PEFT 方法可歸為對"凍結的預訓練模型"做三類組合：

類型	做法	代表
加法式（Addition-based）	在模型旁掛小的可訓練模組	Adapter、Prefix Tuning、Prompt Tuning
選擇式（Selection-based）	選擇部分參數或稀疏的更新量進行訓練	BitFit（只訓 bias）、Diff Pruning
重參數化式（Reparameterization）	學習權重的低秩/壓縮變化量	LoRA、Compacter

5.6 稀疏子網路與剪枝（Sparse Subnetworks）

稀疏性與參數高效率適應有關，但一般剪枝不等於 PEFT。

剪枝通常關注壓縮模型：選擇要保留的連接，移除其他連接，並可能重新訓練；
稀疏微調方法則可以選擇少量需要更新的參數，或學習稀疏的參數變化量；
兩者都使用「選擇子集」的思想，但訓練目標、哪些權重凍結，以及最終部署方式需要分別說明。

稀疏子網路（Sparse Subnetworks）

模組參數中的一種常見歸納偏置是稀疏性（sparsity）；
最常見的稀疏性實現方法是剪枝（pruning）；
Pruning 可以看作應用一個二值遮罩（binary mask），該遮罩決定模型中每個連接是否保留，從而生成一個子網路（subnetwork）；
剪枝過程中，會移除一部分 lowest-magnitude weights（絕對值最小的權重）的連接；
沒有被剪去的權重會被 re-trained（重訓）；
可以一次性剪枝，也可以分多輪剪枝與重訓；效果取決於模型、剪枝比例和訓練設定。

TEXT

初始訓練 → 剪枝(mask) → 重新訓練 → 再剪枝 → 再訓練 → … → 稀疏子網路
   (one-shot pruning：僅剪一次；iterative pruning：多輪)

圖 5-1　迭代剪枝的一種流程：訓練 → 加二值遮罩剪枝 → 重訓，按需要重複。

5.7 LoRA（Low-Rank Adaptation）

核心概念

微調大型模型成本高昂 → 不直接更新整個權重矩陣 $W$ ，而是只更新權重的變化量 $\Delta W$ ：

W' = W + \Delta W

將可訓練的更新量參數化為兩個小矩陣的乘積：

\Delta W = B \cdot A

這裡省略常用的縮放系數 $\alpha/r$ ，只突出低秩更新的結構。

"Low-rank" 的意思

$W$ 是原來的權重矩陣，本身不一定要滿秩；
LoRA 只學習一個 low-rank 變化；
"Low-rank" 意味著 compressed representation of change（變化量的壓縮表示），其中秩 $r \ll d$ 。

效率（Efficient）：參數量計算

假設原始矩陣 $W$ 為 $1024 \times 1024$ （共 1,048,576 ≈ 100 萬個參數）；
LoRA 使用兩個較小的矩陣 $A\,(r \times d)$ 、 $B\,(d \times r)$ ，其中 $r \ll d$ ；
例： $d = 1024,\ r = 8$ 時：
- $A$ : $8 \times 1024$ ， $B$ : $1024 \times 8$
- 可訓練參數總數： $2 \times 1024 \times 8 = \mathbf{16{,}384}$
相比完整參數量，更新的參數減少約 98.4%：

1 - \frac{16{,}384}{1{,}048{,}576} \approx 98.4\%

圖 5-2　LoRA 的重參數化：凍結 $W$ ，只訓練低秩矩陣 $B$ 、 $A$ ，前向為 $h = Wx + BAx$ 。來源：Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022, Figure 1。

前向計算（Low-Rank Composition）

\text{Output} = (W + B\cdot A)\,x = W\cdot x + B\cdot(A\cdot x)

符號	含義
$W$	凍結的預訓練權重（不更新）
$A, B$	僅這兩個是 trainable
$x$	輸入向量，通常是 token embedding 或上一層的輸出

反向傳播：只計算並儲存需要訓練的參數梯度，最佳化器只更新 $A$ 和 $B$ ； $W$ 保持凍結。梯度仍可能透過凍結的線性層傳遞，不能理解為這一層完全不參與反向傳播。

優勢

僅訓練矩陣 $A$ 和 $B$ ，而不是整個 $W$ ；
不引入額外的 inference latency（推理時可以把 $BA$ 合併回 $W'$ ，結構不變）；
減少需要儲存的參數梯度與最佳化器狀態。LoRA 論文在 GPT-3 175B 的實驗中報告，GPU 記憶體需求約降至完整微調的 1/3、訓練速度提升約 25%；具體收益依賴實現與訓練設定；
可以為每個任務儲存獨立的小型 LoRA 權重，按需切換；原始權重沒有被覆蓋，但應用某個適配器後的行為仍需評估。

LoRA 及其變體

變體	特點
LoRA	標準低秩適配，插在注意力/FFN 的線性層旁
LoRA-FA	凍結下投影矩陣 $A$ ，只訓練上投影矩陣 $B$ ，減少儲存活化值所需的 GPU 記憶體
QLoRA	4-bit 量化基礎模型 + LoRA 微調，單卡可訓大模型
HydraLoRA	使用共享 $A$ 與多個 $B$ 的非對稱結構，並透過路由組合不同組件，處理混合資料中的不同成分

5.8 PEFT 方法對比

下表中的參數比例是常見量級示意，實際取決於模型、模組大小和可訓練層數。

方法	可訓練參數	是否改結構	推理開銷
Full Fine-tuning	100%	否	無（但每任務一份）
LoRA	取決於秩和注入位置，通常遠少於全部參數	增加訓練旁路，部署時可合併	合併後通常不增加
Adapter	1%–5%	是（插層）	略增（串行）
Prefix/Prompt Tuning	<0.1%	否	佔用上下文長度
BitFit	~0.01%（僅 bias）	否	無
稀疏選擇／剪枝	取決於方法；普通壓縮剪枝不一定屬於 PEFT	選擇連接或更新量	稀疏參數減少不一定自動帶來實際加速

參考：LoRA、LoRA-FA、QLoRA、HydraLoRA。