NLP 学習ノート（3）：事前学習モデルと大規模言語モデル - Bojin Li

これは、メルボルン大学で NLP の科目 COMP90042 を履修したときのノートです。本稿では、授業で扱った事前学習モデルと大規模言語モデルの内容を整理します。GPT、BERT、T5、RLHF、プロンプティング、指示チューニング、PEFT、LoRA を取り上げます。

1. 事前学習モデル：GPT / BERT / T5

1.1 事前学習モデルとは

NLP モデルでは、最初の層を事前学習済みの単語埋め込みで初期化できる。ランダムな重みで初期化する代わりに利用する。
多くの NLP タスクで、これは簡単に取り入れられる性能改善の方法となる。
ただし、事前学習済み単語埋め込みを使っても、ネットワークの他の重みの大半は依然としてランダムに初期化される。単語ベクトルだけでなく、モデル全体を事前学習するのは、この問題に対処するためである。

発展の流れ：word2vec（単語ベクトルのみを事前学習し、文脈には依存しない）→ ELMo/GPT/BERT（モデル全体を事前学習し、文脈に依存する表現を得る）→ T5（さまざまなタスクをテキストからテキストへの変換に統一）、そして、より大規模な言語モデルへ。

1.2 GPT（Generative Pre-trained Transformer）

GPT-1（2018）

これはTransformer ベースの言語モデル。
事前学習の目的：次の単語を予測する（自己回帰言語モデル）。
論文：Improving Language Understanding by Generative Pre-Training。

学習とモデルの詳細

項目	内容
サブワード分割	Byte-Pair Encoding (BPE)
規模	12 層の Transformer、117Mパラメータ
事前学習コーパス	BookCorpus
コーパスの特徴	多様な文体の異なる書籍 7,000 冊を含み、大量の連続したテキストを利用できる（長距離依存を学びやすい）

下流タスクへの適応

下流の分類タスクでは、入力全体を処理した後、末尾に分類層を追加する。
- この分類層はランダムに初期化される。
下流タスクのデータセットを使い、ネットワーク全体の学習を続ける。これをファインチューニングと呼ぶ。

ファインチューニングの例：感情分類

分類層 $W_y$ を初期化し、最後の単語の出力 $h_n$ を入力として使う：

P(y\mid x) = \text{softmax}(h_n W_y)

学習例：<s> I love pizza! <e> → ラベル：positive
損失 $= -\log(0.4)$ （モデルが positive に 0.4 の確率しか与えていない場合）

ファインチューニングの例：質問応答

GPT-1 論文の質問応答タスクは多肢選択式である。文脈、質問、各回答候補を連結して個別にスコアを付け、候補間で softmax を取る。
文章内にある回答の開始位置と終了位置を予測するのは、別の抽出型質問応答の設計である。BERT の SQuAD 向けファインチューニングではこちらを使う。両者のタスク形式を混同しないこと。

GPT の評価：GLUE などのベンチマーク

ベンチマーク	タスクの種類
MNLI, RTE	テキスト間の含意認識
QQP, STS-B, MRPC	文の類似度
QNLI	回答可能性の予測
SST-2	感情分析
CoLA	文の容認可能性

1.3 BERT（Bidirectional Encoder Representations from Transformers, 2018）

主な違い：双方向の自己注意を使う。

各対象語は、左右両側の文脈に同時に注意を向け、文脈に応じた表現を作る（GPT が参照できるのは左側のみ）。
論文：arXiv:1810.04805。

図 1-1　BERT の 2 段階：左は教師なし事前学習（Masked LM + NSP）、右は各下流タスクでのファインチューニング（分類、質問応答、系列ラベリング）。出典：Devlin et al., BERT, NAACL 2019, Figure 1。

事前学習の目的：マスク単語予測（マスク言語モデル、MLM）

約 15% のトークンを予測対象としてランダムに選ぶ。すべてを [MASK] に置き換えるわけではない。
目的：マスクされた単語を予測する。
詳細：選んだトークンの 80% は [MASK] に、10% はランダムな単語に置き換え、10% は変更しない。損失を計算するのは、選んだ位置のみ。
元の BERT は、Next Sentence Prediction（NSP）も使う。2 つのテキスト区間が原文で隣接しているかを判定する。

学習とモデルの詳細

項目	内容
サブワード分割	WordPiece
BERT-base	12 層の Transformer、110M（1 億 1,000 万）パラメータ
BERT-large	24 層の Transformer、340M（3 億 4,000 万）パラメータ
事前学習コーパス	Wikipedia + BookCorpus
学習コスト	複数の GPU を使い、数日を要する

下流タスクへの適応

GPT と同様、分類層を追加する。
ただし BERT は、特別な先頭トークン [CLS] の表現を分類層への入力に使う：

P(y \mid x) = \text{softmax}(h_{[\text{CLS}]} W_y)

例：スパムメール検出

TEXT

[CLS] Congratulations! You won $1000 ... [SEP]
   ↓（BERT による双方向符号化）
 h_[CLS] → 分類層 → spam / not spam

BERT の評価：元の論文では、当時の GLUE や SQuAD などの言語理解ベンチマークで最先端の結果を得た。ただし、特定のデータセット、モデル、実験設定における比較である。

エンコーダ

BERT の双方向 Transformer は、Transformer エンコーダとも呼ばれる。
各出力語は双方向の文脈に依存する（双方向注意）。
利点：双方向の文脈は、分類、抽出、系列ラベリングなどの理解タスクに適している。
制約：元の BERT の MLM 目的と双方向注意は、左から右へ自己回帰的に生成する仕組みを直接は提供しない。生成システムのエンコーダとして使ったり、追加設計で生成に対応させたりすることはできるが、そのまま GPT 型のデコーダとしては使えない。

図 1-2　3 種類の事前学習アーキテクチャ：BERT（双方向 Transformer、エンコーダのみ）、OpenAI GPT（単方向、デコーダのみ）、ELMo（双方向 LSTM）。出典：Devlin et al., 2019, Figure 3。

1.4 デコーダとエンコーダ–デコーダ

デコーダ

GPT の単方向 Transformer は、Transformer デコーダとも呼ばれる。
各出力語が依存するのは左側の文脈のみ（単方向／因果的注意）。
分類にも生成にも使える。
各位置で利用できる文脈は、エンコーダとは異なる。分類性能はモデル規模、学習目的、データ、ファインチューニング方法にも依存するため、注意が単方向か双方向かだけで判断はできない。

エンコーダ–デコーダ

動機：入力の表現と出力の生成を分けて扱う。入力と出力の長さが異なりうる seq2seq タスクに適している。
組み合わせ方：
1. まず、エンコーダが入力を処理する（双方向に理解し、豊かなソース表現を得る）
2. 次に、デコーダが出力を生成する（単語ごとに自己回帰的に生成し、交差注意を通じてエンコーダの出力を参照する）

3 つのアーキテクチャの比較

アーキテクチャ	代表例	注意	得意なタスク
Encoder-only	BERT	双方向	分類、抽出型質問応答、系列ラベリング
Decoder-only	GPT シリーズ、LLaMA	単方向（因果的）	生成、few-shot、対話
Encoder-Decoder	T5、BART、元の Transformer	双方向の符号化 + 単方向の復号 + 交差注意	翻訳、要約などの seq2seq タスク

1.5 T5（Text-to-Text Transfer Transformer, 2019）

図 1-3　T5 の text-to-text フレームワーク：翻訳、分類、要約、回帰をすべて「入力テキスト → 出力テキスト」として表す。出典：Raffel et al., Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer, JMLR 2020, Figure 1。

事前学習の目的：スパン破損（Span Corruption）

複数の連続したトークン区間をランダムに選び、各区間を異なるセンチネルに置き換える。モデルには、取り除いた内容を生成させる。
例：Thank you <X> me to your party <Y> week → 目標：<X> for inviting <Y> last <Z>

図 1-4　スパン破損：連続した区間をセンチネル <X> <Y> <Z> に置き換え、取り除いた内容を生成させる。出典：Raffel et al., 2020, Figure 2。

他の目的関数との比較

目的	例	説明
Prefix language model（接頭辞言語モデル）	cows love to → eat grass	接頭辞が与えられた状態で後続を予測する（GPT に似ているが、エンコーダ–デコーダで実装）
Masked language model（マスク言語モデル）	cows <M> <M> eat grass → cows love to eat grass	単語をランダムにマスクして予測する（BERT に似ている）
Shuffling（語順のシャッフル）	grass cows to love eat → cows love to eat grass	語順を乱し、元に戻すように学習させる
Drop tokens（トークンの削除）	cows love grass → cows love to eat grass	入力の一部の単語を削除し、原文全体を再構成するように学習させる

T5 が最終的に採用したのは span corruption である。論文内の比較実験で競争力のある性能を示し、生成する目標系列も短くできた。これは実験設計上の選択であり、あらゆるタスクで他の目的より優れるという意味ではない。

事前学習コーパス：フィルタ済み C4（Colossal Clean Crawled Corpus）

C4 はフィルタリングした Web テキストである。
元の Web ページには、非言語的な文字列、英語以外の内容、攻撃的な内容など、多くのノイズが含まれる。
一連のヒューリスティクス（経験的なルール）でフィルタリングする（句読点で終わる文のみを残す、罵倒語を含むページを除く、重複を除く、など）。
量だけでなく品質も重要（C4 は同程度の量の未加工クロールデータより、大幅に良い結果を示した）。

ファインチューニング

すべてのタスクを「テキストからテキストへの変換」として表す。
学習時には、次の単語の予測を目的としてファインチューニングする。
例：翻訳 translate English to German: That is good. → Das ist gut.、分類 sst2 sentence: it's great → positive。

T5 の評価

項目	内容
モデル規模	small (60M)、base (220M)、large (770M)、3B、11B
GLUE	9 種類の言語理解タスクを含むベンチマーク
CNN/DM	要約タスク
WMT	機械翻訳タスク
結論	最大モデルは、論文で評価した複数のベンチマークで当時最先端の結果を得た。汎用的な言語能力が人間の水準に達したという意味ではない

2. 大規模言語モデルと RLHF

2.1 LLM とは

大規模言語モデル（LLM）とは、一般に大量のテキストで事前学習した大きな言語モデルを指す。パラメータ数に統一的な基準はない。本節では主に Transformer モデルと、そのゼロショット汎化、文脈内学習、指示追従の能力を扱う。

関連手法の発展は、統計的言語モデル → ニューラル言語モデル → モデル全体の事前学習 → モデルとデータの大規模化 → 指示チューニングと選好アラインメント、と整理できる。Word2Vec は単語表現の手法であり、完全な言語モデルと同一視してはいけない。また、大規模化とアラインメントも別の事柄である。

2.2 GPT シリーズと能力の創発

NLP における事前学習とファインチューニングの役割：事前学習は、パラメータの初期値を与えることで下流タスクの性能を改善できる。

モデル	パラメータ数	層数	次元	学習データ	学習方法
GPT-1	117M	12	768	BookCorpus (~1B words)	自己教師あり事前学習 + 教師ありファインチューニング
GPT-2	1.5B	48	1600	WebText (~10B words)	自己教師あり事前学習
GPT-3	175B	96	12288	Common Crawl、WebText、書籍、Wikipedia の混合コーパス	自己教師あり事前学習

GPT-2 の創発的能力：ゼロショット学習

さまざまなタスクを、例を与えず、勾配更新も行わずに実行できる。
タスク固有のファインチューニングを行わずに、言語モデルのベンチマークで当時の最先端を上回った。

GPT-3 と文脈内学習

GPT-3 論文のモデルは合計約 300B tokens で学習した。学習データは複数のコーパスを重み付けして混合している。ファイルサイズ、単語数、トークン数は、それぞれ異なる指標である。
175B など、一部の規模のモデルは、実演例がなくても指示を理解できる（ゼロショット）。
入力の前にそのタスクの例をいくつか追加することで、タスクを指定する。
これを文脈内学習（in-context learning）と呼ぶ。新しいタスクに適応する際、勾配更新を行わない点が重要である。

図 2-1　GPT-3 の 4 つの利用方法：ファインチューニング（パラメータを更新）と、zero-shot / one-shot / few-shot（パラメータを更新せず、例を与える）。出典：Brown et al., Language Models are Few-Shot Learners, NeurIPS 2020, Figure 2.1。

従来のファインチューニングと文脈内学習

比較項目	従来のファインチューニング	文脈内学習
パラメータ	モデルのパラメータを更新する	どのパラメータも更新しない
データ	多数のラベル付きサンプルが必要	少数の実演例のみでよい（0 件の場合もある）
手順	事前学習 → タスクごとにファインチューニング → 複数のモデルをデプロイ	1 つのモデル + 異なるプロンプト
コスト	各タスクで学習と保存が必要	長いプロンプトでは推論コストが高いが、学習コストは不要

文脈内学習の制約

プロンプトの形式、例の選び方、例の順序に非常に敏感。
また、文脈長の制限があるため、多数の例は入らない。
多段階の算術など、複雑な推論タスクでは依然として失敗する → CoT につながる（第 3 節）。
パラメータを更新しないため、適応は現在の文脈内で起こる。タスクの規則を安定して習得したとは限らず、新しいサンプルや異なるプロンプト、例の設定で検証する必要がある。

2.3 InstructGPT と RLHF（人間のフィードバックによる強化学習）

全体の考え方：人間の実演と選好を集め、教師あり学習と強化学習でモデルの振る舞いを調整する。以下では、InstructGPT 論文で公開された 3 段階の手順を例にする。ChatGPT の学習の考え方を理解する助けにもなるが、InstructGPT のデータ量やモデル設定を、そのまま ChatGPT の完全な学習の詳細とみなしてはいけない。

図 2-2　RLHF の 3 段階：(1) 教師ありファインチューニング（SFT）→ (2) 報酬モデルの学習 → (3) 報酬に基づき PPO で方策を最適化。出典：Ouyang et al., Training language models to follow instructions with human feedback (InstructGPT), 2022, Figure 2。

第 1 段階：教師ありファインチューニング（SFT）

1. 高品質なデータの収集

プロンプト一覧を用意する：学習に使う具体的な質問や文を決める。
望ましい回答を依頼する：各プロンプトに対する望ましい回答を集める。
専門家やクラウドソーシングを通じて人間がデータを作成し、品質と多様性を確保する。
InstructGPT 論文の SFT 学習セットは約 13,000 件のプロンプトと対応する模範回答を含む。

2. 事前学習済みモデルのファインチューニング

InstructGPT 論文では、事前学習済みの GPT-3 を基盤モデルとする。
事前学習で汎用的な言語能力を獲得し、SFT で望ましい応答の仕方に適応させる。
上記の高品質データでパラメータを最適化し、指示に従うというタスク形式に適応させる。

第 2 段階：報酬モデル（RM）

1. 出力の生成

プロンプト一覧から 1 件を選ぶ。
第 1 段階で学習したSFT モデルで約 4～9 件の出力を生成する。

2. 人間による順位付け

アノテータが出力の品質に基づき、良いものから悪いものへ順位を付ける。
論文の RM データセットには約 33,000 件のプロンプトが含まれる。1 回の順位付けから複数のペア比較を作れるため、プロンプト数、回答数、比較ペア数は区別する必要がある。

3. 報酬モデルの学習

入力：プロンプト + 対応する SFT モデルの出力。
学習信号：同じプロンプトに対し、どちらの回答をアノテータが好むか。
出力：モデルが予測するスカラー報酬。好まれる回答に高いスコアを与えるよう学習し、アノテータが付けた絶対的な点数を直接回帰するわけではない。
論文では 6B（60 億パラメータ）の報酬モデルを使う。

第 3 段階：近位方策最適化（PPO）

1. プロンプトを抽出する：データセットから「メルボルンについての物語を書いて」などのプロンプトを抽出する。論文の PPO データセットには約 31,000 件のプロンプトがあり、この段階では各プロンプトに人間の模範回答は必要ない。

2. 回答を生成する：現在の方策モデルでテキストを生成する。方策は SFT モデルで初期化され、学習の反復中に PPO で更新される。ユーザーへの回答を生成するたびに、その場でパラメータを更新するわけではない。

3. 報酬を計算する：第 2 段階で学習した報酬モデルが生成出力を評価し、スカラー報酬を返す。

4. 方策を更新する：報酬に基づき、PPO アルゴリズムで方策を更新する。

PPO は、方策の更新幅を制御するために設計された強化学習アルゴリズムである。学習の安定性を保ちながら新たな報酬情報を活用して方策を最適化する（1 回の更新が大きすぎてモデルが崩れるのを防ぐ）。

追加の制約：SFT 参照モデルに対するKL ペナルティを学習時に加え、方策のずれを抑えて、報酬モデルの過剰な最適化による問題を緩和する。ただし、あらゆる報酬ハッキングを解消できる保証はない。

対話能力への適応

対話モデルには、複数ターンの対話などのデータと評価も必要になる。文脈のつながり、不適切な要求の拒否、形式への準拠を考慮する。これは学習目的とデータ設計の問題であり、上記の手順に固定的な「第 4 段階」があるという意味ではない。

参考：InstructGPT 論文。

2.4 その他の LLM：LLaMA

LLaMA（Large Language Model Meta AI）

ここで扱うのは、2023 年の初代 LLaMAで、パラメータ数は 7B～65B。

GPT-3 175B と比べ、LLaMA は小さなモデルをより多くのトークンで学習し、一定の推論予算のもとで性能を改善する方法を探った。すべての LLaMA がすべての GPT より小さいとは言えない。
公開されている Web ページ、書籍、Wikipedia、GitHub、論文などのデータを使う。コードを含むからといって、推論能力の向上がすべてコードだけに由来すると証明されたわけではない。
デコーダのみの Transformer に、既存の設計を組み合わせている：
- Pre-normalisation：RMSNorm を使用。
- SwiGLU 活性化関数。
- Rotary Position Embedding（RoPE）。
論文ではアーキテクチャと学習設定を公開している。初代の重みは当時の研究用ライセンスで研究者に提供された。「公開された重み」と、制限のないオープンソースライセンスは区別する必要がある。

参考：LLaMA 論文。

2.5 LLM の 3 つの主要な能力

能力	意味	例
文脈内学習	現在の入力に含まれる指示、例、情報を使ってタスクに適応し、モデルのパラメータは更新しない。対話をまたぐ記憶には別のシステム機構が必要	2 つの例を与えた後、新しいタスクを実行する
段階的な推論	複雑な問題を小さなステップに分ける	数学計算、プログラミング、論理推論
指示追従	ユーザーからの明示的な指示に従い、多様なタスクを効率よく支援する	指定に沿ったメール作成、レシピから手順を生成、ソフトウェア環境でコマンド列を実行

3. プロンプティングと思考の連鎖

3.1 ゼロショットと少数ショットの文脈内学習

具体的には、実際の入力の前にタスクの例を追加することで、タスクの目標を指定する。
この方法を文脈内学習と呼ぶ。新しいタスクに適応する際、勾配更新を行わない点が重要である。
つまり、モデルは現在の入力に含まれる文脈だけに基づいて推論や生成を行う。

設定	例の数	説明
Zero-shot	0	「Translate to French: cheese」のような指示だけを与える
One-shot	1	1 件の例を与える
Few-shot	数件	数件の例を与え、通常は性能が改善する

3.2 プロンプティングの制約

タスクが複雑すぎると、LLM にプロンプトを与えるだけでは正しく推論できない場合がある。特に、多くの情報や多段階の推論を伴う場合に問題になる。

失敗例：標準的なプロンプティング

Q: 食堂にリンゴが 23 個ありました。昼食に 20 個使い、さらに 6 個買いました。今はいくつありますか？ A: モデルの出力は 27 ❌

この誤答は $23-20+6$ を正しく計算できていない。27 を $23+6$ と解釈することもできない。後者なら 29 になるからである。

代わりの方法：プロンプトの与え方を変える ✅（次に説明する CoT）。

3.3 思考の連鎖によるプロンプティング（CoT）

定義：例の中に中間の推論ステップを含めるか、モデルにそのようなステップを生成させてから最終回答を得る。元の論文では算術、常識、記号推論のさまざまなタスクで改善が見られたが、中間ステップの正しさは保証されない。

比較

方法	プロンプト	出力
Standard Prompting	質問と答えだけを与える	The answer is 27 ❌
Chain-of-Thought Prompting	段階的に推論するよう導く	The answer is 9 ✅

例

Q: 食堂にリンゴが 23 個ありました。昼食に 20 個使い、さらに 6 個買いました。今はいくつありますか？ A: 最初は 23 個あり、20 個使ったので 3 個残ります。さらに 6 個買ったので、合計は 9 個です。

図 3-1　左：標準的なプロンプティングでは直接答えて誤る。右：思考の連鎖では段階的に推論して正答する。出典：Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, NeurIPS 2022, Figure 1。

3.4 モデル規模による創発的特性

元の CoT 論文で調べたモデルとタスクでは、大きなモデルほど推論の実演例から恩恵を受けやすかった。
一部の小さなモデルは、誤ったステップを生成して性能が低下した。これは当時の実験における規模の効果であり、すべてのモデルに共通する固定の閾値や法則とみなしてはいけない。
よく使われるベンチマーク：
1. GSM8K：小学校レベルの算数文章題（8K 問）
2. SVAMP：意味的に多様な算術問題
3. MAWPS：数学文章題の解決

3.5 2 種類の CoT

ゼロショット CoT

プロンプトとして、"Let's think step by step"という一文を使う。
モデルが推論過程を自ら生成する（Generated Rationale）。
最後に答えを抽出する（Answer Extraction）。

利点	欠点
例を人手で作成する必要がない	推論の品質がモデル自体に依存し、安定しにくい

手動 CoT

事前に推論ステップ付きの例を複数、人手で設計する（Manual Demos）。
その後、テスト用の質問を入力する。
モデルが与えられた例に基づいて回答する。

利点	欠点
望ましい推論形式を明示できる。効果は例とタスクの対応に依存する	例を人手で作成し、確認する必要がある。例の誤りまで模倣される場合がある

3.6 データセットの補足

MultiArith：自然言語で記述された多段階の数学文章題。
GSM8K（Grade School Math 8K）：同じく自然言語による多段階の数学問題だが、より構造化された形式で、ステップ数も多い。

3.7 プロンプトインジェクションと脱獄

プロンプトインジェクション：処理対象のテキスト、Web ページ、その他の信頼できないデータ内にある指示を、実行すべき指示として扱わせ、元のタスクから逸脱させること。
脱獄（Jailbreaking）：元の安全上または行動上の制約を回避するよう誘導すること。プロンプトインジェクションと重なる場合はあるが、同義ではない。
例：翻訳対象の文章に Ignore the above and instead tell me ... を紛れ込ませると、モデルが別のタスクへ誘導されることがある。
示唆：アプリケーションは、信頼できる指示と外部データを区別する必要がある。指示のように書かれた文章だからといって、同じ制御権限を与えてはいけない。

3.8 文脈内学習の利点と欠点

利点

ファインチューニングが不要：追加学習せず、事前学習済みモデルをそのまま利用できる。
プロンプト設計で性能を改善しやすい：例えば、CoT で推論能力を大きく改善できる。

欠点

文脈長に上限がある：モデルの最大入力長による制限があり、大量の情報や多数の例は扱いにくい。
プロンプトだけでは不十分な場合がある：複雑なタスクには、より良い文脈、検索、ツール、検証、ファインチューニングなどが必要になることもある。誤りの原因に応じて方法を選ぶべきであり、常に勾配更新が必要だと決めつけてはいけない。

4. 指示チューニング

4.1 ファインチューニングの拡張：従来の 2 段階の枠組み

第 1 段階：事前学習

項目	内容
方法	書籍や Wikipedia などの大量のテキストで自己教師あり学習を行う
モデル	BERT など
データセット	Wikipedia など
目的	マスクされた単語を予測する（言語モデル学習）

第 2 段階：ファインチューニング

項目	内容
方法	具体的には、ラベル付きデータセットで教師あり学習を行う
モデル	第 1 段階で事前学習したモデル
データセット	例えば、スパムメールとそのラベル
目的	分類器を学習し、スパム検出などの具体的なタスクを実行する

制約：タスクごとに専用モデルと専用のラベル付きデータが必要で、タスクが増えるとスケールしにくい。

4.2 指示チューニング

定義：指示チューニングは、タスクを自然言語で記述した指示データを使う教師ありファインチューニング（SFT）である。事後学習（post-training）の一種であり、事後学習には選好最適化などの段階も含まれる。これらの用語は完全な同義ではない。

指示チューニング = 指示データを使う教師ありファインチューニング。
指示データは (prompt, completion)、すなわち $(x, y)$ のペアである。自然言語の指示と、それに対する望ましい回答を組にする。
InstructGPT の復習：「指示 + 人間が望む出力」で学習し、個別のタスクを暗記するのではなく、タスクの記述を理解できるようにする。

SFT の詳細

高品質なデータの収集
- プロンプト一覧を用意する
- 望ましい回答を依頼する
- データは人間が作成する（専門家やクラウドソーシング）
- InstructGPT の例では、SFT データは約 13,000 件のプロンプトと対応する模範回答を含む。データ規模はプロジェクトによって異なる
事前学習済みモデルのファインチューニング
- 事前学習済みモデルから開始する。InstructGPT 論文は GPT-3 を使っており、SFT 全般を GPT-3.5 の学習と同一視してはいけない

第 2 節の InstructGPT の手順における SFT に相当する。SFT → RM → PPOはこの論文固有の手順であり、RLHF がこのアルゴリズムの組み合わせに限られるわけではない。

4.3 Alpaca（Stanford Alpaca）

成果：著者らによる小規模で単一ターンの指示追従の予備評価では、Alpaca 7B は text-davinci-003 と同程度の性能を示した。あらゆるタスク、安全性、信頼性で同等という意味ではない。

学習の流れ

第 1 段階：シード生成（Self-Instruct）

最初に Self-Instruct のシード集合から始め、人手で書かれた 175 件の「指示–出力」ペアを使う。
次に、text-davinci-003（GPT-3.5）でさらに指示を生成する。
合計 52,000 件の異なる指示と、対応する出力を生成した。

第 2 段階：ファインチューニング

まず、Hugging Face の学習フレームワークを使い、LLaMA をファインチューニングする。
このとき、70 億パラメータの LLaMA では、80GB A100 を 8 基使い、3 時間で学習した。
このときのファインチューニングの計算コストは 100 米ドル未満。学習データの生成には別途 500 米ドル未満かかり、合計は 600 米ドル未満だった。基盤モデルの事前学習コストは含まない。

参考：Stanford Alpaca のプロジェクト説明。

4.4 T5 の視点：事前学習とマルチタスク学習

方法：事前学習の後、複数の具体的なタスク（Task A、B、C…）でファインチューニングし、同じタスクで評価する。

新しい言語モデルの傾向：GPT-3、LLaMA

従来のタスクごとにファインチューニングする方式を重視しなくなった。
代わりに、大規模な事前学習の後、指示や例でタスクを提示する方法（instruction prompting）へ移り、タスク固有のファインチューニングなしでタスクを実行する。

4.5 事前学習–微調整、プロンプティング、指示チューニングの比較

枠組み	代表例	手順	特徴
事前学習–ファインチューニング	BERT, T5	事前学習済み LM → Task A で微調整 → Task A の推論	タスクごとに専用モデルを学習させる。通常、多数のタスク固有の例が必要
プロンプティング	GPT-3	事前学習済み LM → 少数ショットの例やプロンプト設計 → Task A	パラメータの更新は不要で、柔軟に利用できる。プロンプトに敏感で、その品質に性能が左右される
指示チューニング	FLAN	事前学習済み LM → 複数のタスクの自然言語指示で指示チューニング → 新たな Task A に汎化する	自然言語の指示を通じて多様なタスクの実行を学び、未見タスクに汎化する

図 4-1　3 つの枠組み：(A) 事前学習–ファインチューニングはタスクごとにモデルを用意。(B) プロンプティングはパラメータを変えず、プロンプトのみを変える。(C) 指示チューニングは複数タスクで学習した後、未見タスクへ汎化できる。出典：Wei et al., 2022, Figure 2。

4.6 FLAN（Instruction Fine-Tuning）

図 4-2　指示チューニングの概要：複数のタスクを自然言語の指示に書き換えて学習し、指示を使ってゼロショット推論を行う。出典：Wei et al., Finetuned Language Models Are Zero-Shot Learners (FLAN), ICLR 2022, Figure 1。

中心となる方法：(instruction, output) ペアの例を集めて複数のタスクを網羅し、言語モデルをファインチューニングする。

元の FLAN はタスクを自然言語の指示で表し、137B の LaMDA-PT にマルチタスク指示チューニングを行った。
後の Flan-T5 は、拡張した指示チューニングの方法を T5 に適用し、論文で調べたさまざまなタスクで性能を改善した。基盤モデルもデータ集合も異なるため、実験設定を混同しないこと。

タスクの設定

項目	内容
タスクの種類	12 種類（分類と生成の両方を含む）
データセット	62 個
未見タスクの構成	評価では、同じクラスタのタスクは、学習セットかテストセットのどちらか一方だけに入れる。両方には入れない（同系統のタスクによる漏洩を防ぎ、汎化を評価するため）
テンプレート	同じタスクに対し、複数のテンプレートを人手で作り、指示の多様性を増やす

結果：指示チューニング後のゼロショット FLAN は、3 つの未見のタスクカテゴリにおいて、ゼロショットおよび few-shot の GPT-3 と比べ、明らかに性能が向上した。

新しいタスクへの汎化

元の FLAN 実験では効果がモデル規模によって異なり、大きいモデルほど指示チューニングの恩恵を受けやすかった。
モデル容量の不足は説明の 1 つだが、タスク、データ、学習設定も考慮すべきである。この結果から、小さなモデルはすべて指示を理解できないと断定してはいけない。

タスク数の拡大：後続の FLAN

項目	数
拡大の規模	後続研究では、指示チューニングを約 1.8K タスクに拡大し、モデル規模と CoT データの効果も調べた
評価用に保持したタスク	ファインチューニングには使わず、汎化の評価に使う

その他の知見

データには、さまざまなファインチューニング用データ形式がある（説明の有無、選択肢の有無など）。
non-CoT と CoT のデータを併用してファインチューニングすると、両方の評価タスクで性能を改善できる。
元の論文で評価した未見タスクの種類では、ゼロショット FLAN の性能は few-shot GPT-3 と比較できる水準だった。特定のベンチマークとモデル設定における実験結果である。

参考：元の FLAN、Scaling Instruction-Finetuned Language Models。

4.7 利点と制約

利点

方法が単純で分かりやすい（教師あり学習 + 指示形式）。
また、未見のタスクによく汎化できる。

制約

高品質データにはコストがかかる：人間の実演、既存データセット、モデルの合成データを使えるが、いずれも整理、重複除去、品質管理が必要である。
正解を 1 つに定められないタスクもある：例えば「うちの犬と子どもの物語を書いて」という自由な創作では、正しい答えを定義しにくい。
目的の不一致：生成モデルの SFT は通常、模範回答の次のトークンを予測するように学習する。模範回答の模倣は、人間のあらゆる選好を直接最適化することとは異なる。

そこで、さらに RLHF を使ってモデルの振る舞いを最適化することが考えられる。

4.8 能力と制約の考察

流暢なテキストを出力できても、信頼性や汎化の問題が解決したとは限らない。以下では、研究での観察と、より広い主張を区別する。

観点	要点
事実と計画	執筆を支援できる一方で、事実を捏造したり、実行不可能な計画を示したりすることもある。指示チューニングと人間のフィードバックは正しさを保証せず、具体的な能力は実際の評価が必要
自己修正	外部フィードバックがない特定の推論設定では、答えを確認して修正するよう求めるだけでは正答率が上がらず、正しい答えを誤りに変える場合さえあると報告されている。ツールや検証器を使う修正手法もすべて無効だとは言えない
逆転の呪い（Reversal Curse）	一部の実験では、「A は B」と学習したモデルが、対応する「B は A」という問いに自動的には答えられなかった。ある表現への適合が、逆向きの表現への汎化を必ず伴うわけではない。自然言語の関係がすべてそのまま逆転可能だという意味でもない

参考：Large Language Models Cannot Self-Correct Reasoning Yet、The Reversal Curse。

5. パラメータ効率的ファインチューニングと LoRA

5.1 なぜ PEFT が必要か

PLM と LLM：前者は事前学習済みであること、後者は規模の大きさを強調する。排他的な分類ではなく、統一的なパラメータ数の境界もない。本節では、モデルの大規模化に伴うタスク適応コストをどう下げるかを考える。

モデルが大きくなるほどファインチューニングは高コストになる

第 1 段階：事前学習：大量のテキストから汎用的な言語能力を学ぶ。
第 2 段階：ファインチューニング：複数の具体的なタスクに適応させる。通常、ラベルは少ない。

大規模モデルの全パラメータ更新にはコストとリスクが増す：

課題	説明
スケーラビリティ	計算コストが大きい（各タスクでモデル全体のコピーを保存する必要がある）
学習の不安定性	過学習、勾配の干渉など
破滅的忘却	新しいタスクでファインチューニングした後、元の汎用的な能力を失う

文脈内学習とファインチューニングは相補的な適応方法である。ICL はパラメータを更新しないが、制約もある：

制約	説明
非効率性	推論のたびにプロンプト全体を処理し直す必要がある（長いプロンプトは高コスト）
性能	プロンプトだけでは対象タスクに必要な性能に届かない場合がある。ファインチューニングとの優劣は同じ条件で比較すべき
敏感さ	プロンプトの言い回しや例の順序などに非常に敏感
不明確さ	あるプロンプトでの成功は、別の入力やプロンプトに安定して汎化することを意味しない

→ こうして、ファインチューニングから、パラメータ効率的ファインチューニングへと進む。

5.2 歴史的な流れ

コンピュータビジョン（CNN）：初期には、最後の数層だけを微調整したり、最終層だけを更新したりする方法がよく使われた。
NLP：最終層だけを微調整する方法が主流だった時期もあるが、NLP では全パラメータを微調整する方が効果的で、コストも高いため、パラメータ効率的な方法が生まれた。

5.3 一部のパラメータだけを更新する

1. 大規模モデルの全パラメータ更新は難しい

GPT-3 175B など、規模が公表されているモデルでは、全パラメータのファインチューニングに大量の計算と GPU メモリが必要になる。規模が非公開のモデルについて、未確認のパラメータ数を記載しないこと。
全パラメータの更新は、計算コストが高いだけでなく、デプロイと更新も難しい（タスクごとに重みが必要）。

2. 最先端モデルは大幅に過剰パラメータ化されている

実際には、すべてのパラメータを更新しなくても、下流タスクで良好な性能を得られる。

3. PEFT は全パラメータ更新に近い性能を得られる

一部のタスクや条件では、少数の学習可能なパラメータを使う Adapter、LoRA、Prompt Tuning などで、全パラメータ更新に近い性能を得られる。ただし、効率と適応能力の間にはトレードオフがある。

5.4 モジュール化と構成的表現

a) モデル規模の拡大

GPT-3 175B のようにパラメータ数が増えると、全パラメータのファインチューニングは計算とリソースを大量に必要とする。
そこで Adapter、LoRA、Prefix Tuning などの PEFT により、ごく一部のパラメータだけを微調整して新しいタスクへ適応させ、学習コストを大きく下げる。

b) 未見の状況

実際の利用では、学習時に見たことのない言語、タスク、分野に直面することが多い（少数民族の言語、クロスモーダルタスクなど）。
モジュールの組み合わせは、言語モジュールとタスクモジュールなどを組み合わせ、未見の組み合わせへの汎化を探る。構成的な構造だけで、分布外の性能が保証されるわけではない。

c) 破滅的干渉

従来のファインチューニングでは、新しいタスクが古い知識を上書きしやすく、破滅的忘却が起こる。
そこで、モジュール構造を帰納バイアスとして使うことで、タスクや知識を別々のモジュールに分け、相互干渉を減らして、安定性と長期記憶を改善できる。

d) 効率的なモデル更新

時事情報や人物の役職など、知識が急速に変わる場合、モデル全体の再学習は現実的ではない。
小さなモジュールの更新や外部知識の利用により、再学習コストを減らす方法を検討できる。ただし、知識が正しく更新されたか、他の振る舞いに影響したかは検証が必要である。

5.5 アーキテクチャの概要：3 つの計算方式

PEFT は、凍結した事前学習モデルに対する次の 3 種類の変更として整理できる：

種類	方法	代表例
追加型	小さな学習可能モジュールを追加する	Adapter、Prefix Tuning、Prompt Tuning
選択型	一部のパラメータや疎な更新量を選んで学習する	BitFit（バイアスのみ）、Diff Pruning
再パラメータ化	重みの低ランクまたは圧縮された変化量を学ぶ	LoRA、Compacter

5.6 疎なサブネットワークと枝刈り

疎性はパラメータ効率的な適応に関係するが、通常の枝刈りと PEFT は同じではない。

枝刈りは通常、モデル圧縮を目的とする。残す結合を選び、他を削除し、必要に応じて再学習する。
疎なファインチューニングは、更新する少数のパラメータを選んだり、疎なパラメータ変化を学んだりする。
いずれも部分集合を選ぶ考え方を使うが、学習目的、どの重みを凍結するか、最終的なデプロイ方法は分けて説明する必要がある。

疎なサブネットワーク

モジュールのパラメータに対する一般的な帰納バイアスの 1 つが疎性である。
疎性を実現する代表的な方法が枝刈り（pruning）である。
枝刈りは、二値マスクを適用して各結合を残すかを決め、サブネットワークを作る操作とみなせる。
枝刈りでは、一部の絶対値が最も小さい重みを持つ結合を取り除く。
刈り取られなかった重みを再学習する。
一度だけ枝刈りする場合もあれば、枝刈りと再学習を複数回繰り返す場合もある。効果はモデル、枝刈りの割合、学習設定によって異なる。

TEXT

初期学習 → 枝刈り(mask) → 再学習 → 再び枝刈り → 再び再学習 → … → 疎なサブネットワーク
   (one-shot pruning：1 回だけ枝刈り；iterative pruning：複数ラウンド)

図 5-1　反復的な枝刈りの一例：学習 → 二値マスクによる枝刈り → 再学習を、必要に応じて繰り返す。

5.7 LoRA（Low-Rank Adaptation）

中心となる考え方

大規模モデルのファインチューニングは高コスト → 重み行列全体 $W$ を直接更新せず、その変化量 $\Delta W$ のみを更新する：

W' = W + \Delta W

学習可能な更新量を、2 つの小さな行列の積で表す：

\Delta W = B \cdot A

ここでは、よく使われるスケーリング係数 $\alpha/r$ を省略し、低ランク更新の構造だけを示している。

「低ランク」とは

$W$ は元の重み行列で、それ自体がフルランクである必要はない。
LoRA が学ぶのは、低ランクの変化のみ。
低ランクとは、変化量の圧縮表現を意味する。ランクは $r \ll d$ 。

効率：パラメータ数の計算

元の行列 $W$ の形状を $1024 \times 1024$ とする（合計 1,048,576 ≈ 100 万パラメータ）。
LoRA は 2 つの小さな行列 $A\,(r \times d)$ 、 $B\,(d \times r)$ を使う。ここで $r \ll d$ 。
例えば、 $d = 1024,\ r = 8$ のとき：
- $A$ : $8 \times 1024$ 、 $B$ : $1024 \times 8$
- 学習可能パラメータの合計： $2 \times 1024 \times 8 = \mathbf{16{,}384}$
全パラメータを更新する場合と比べ、更新するパラメータ数は約 98.4% 減る：

1 - \frac{16{,}384}{1{,}048{,}576} \approx 98.4\%

図 5-2　LoRA の再パラメータ化： $W$ を凍結し、低ランク行列 $B$ 、 $A$ のみを学習する。順伝播は $h = Wx + BAx$ 。出典：Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022, Figure 1。

順伝播の計算：低ランクの合成

\text{Output} = (W + B\cdot A)\,x = W\cdot x + B\cdot(A\cdot x)

記号	意味
$W$	凍結された事前学習済みの重み（更新しない）
$A, B$	学習可能なのはこの 2 つのみ
$x$	入力ベクトル。通常はトークン埋め込み、または前の層の出力

逆伝播：学習するパラメータの勾配のみを計算・保存し、最適化器が更新するのは $A$ と $B$ のみ。 $W$ は凍結されたままである。勾配は凍結された線形層を通って伝わる場合もあり、その層が逆伝播にまったく関与しないという意味ではない。

利点

行列 $A$ と $B$ だけを学習し、 $W$ 全体は更新しない。
推論時のレイテンシが増えない（推論時には $BA$ を $W'$ に統合でき、構造は変わらない）。
保存するパラメータ勾配と最適化器の状態を減らせる。LoRA 論文の GPT-3 175B 実験では、必要な GPU メモリは全パラメータ更新の約 1/3 に減り、学習速度は約 25% 向上したと報告されている。実際の利得は実装と学習設定に依存する。
タスクごとに小さな LoRA 重みを保存し、必要に応じて切り替えられる。元の重みは上書きされないが、アダプタを適用した後の振る舞いは評価する必要がある。

LoRA とその派生手法

派生手法	特徴
LoRA	標準的な低ランク適応。注意機構や FFN の線形層に並列の経路を追加する
LoRA-FA	ダウンプロジェクション行列 $A$ を凍結し、アッププロジェクション行列 $B$ のみを学習して、活性値の保持に必要なメモリを削減
QLoRA	4 ビット量子化した基盤モデル + LoRA。単一 GPU で大規模モデルを微調整できる
HydraLoRA	共有の $A$ と複数の $B$ を持つ非対称構造を使い、ルーティングで構成要素を組み合わせ、混合データの異なる成分を扱う

5.8 PEFT 手法の比較

以下の比率は一般的な桁の目安であり、実際の値はモデル、モジュールの大きさ、学習対象の層数によって異なる。

手法	学習可能なパラメータ	構造の変更	推論時の追加コスト
全パラメータの微調整	100%	なし	なし（ただしタスクごとにモデルが必要）
LoRA	ランクと挿入位置による。通常は全パラメータよりはるかに少ない	学習時に並列の経路を追加。デプロイ時には統合可能	統合後は通常増えない
Adapter	1%–5%	あり（層を挿入）	少し増える（逐次計算）
Prefix/Prompt Tuning	<0.1%	なし	文脈長を消費する
BitFit	約 0.01%（バイアスのみ）	なし	なし
疎な選択／枝刈り	手法による。通常の圧縮目的の枝刈りは PEFT とは限らない	結合や更新量を選択	疎なパラメータが減っても、実際の高速化に自動的につながるわけではない

参考：LoRA、LoRA-FA、QLoRA、HydraLoRA。