NLP 學習筆記（二）：神經網路與詞表示 - Bojin Li

這是我在墨爾本大學上 COMP90042 NLP 時的筆記，這篇整理課程中神經網路與詞表示的內容：從 FFNN、RNN、LSTM 到 Transformer，再到計數式詞向量、Word2Vec 和評估方法。

1. 前饋神經網路 FFNN

1.1 深度學習基礎

深度學習是機器學習的一個分支，主要使用多層神經網路學習資料表示。
為什麼叫 deep？因為有很多層堆疊在一起（多層非線性變換）。
神經網路的構想受人類大腦運作方式啟發：由大量計算單元組成，這些單元稱為 neurons（神經元）。

Feed-forward NN（前饋神經網路）

本節採用的是全連接前饋網路，也叫 multilayer perceptron（多層感知器，MLP）。
資訊只向前流動：輸入層 → 隱藏層 → 輸出層，沒有循環連接；處理序列時通常需要事先整理成固定長度的輸入。
每條箭頭帶一個 weight，表示其重要性。
某些層帶非線性活化函數（否則多層堆疊等價於單層線性變換）。

圖 1-1　三層前饋網路：Input layer → Hidden layer → Output layer，每條箭頭是一個權重。

單個神經元：一個函數 $h = f(x)$

給定輸入 $x$ ，計算一個純量 $h$
用權重 $w$ 縮放輸入，並加上偏置 $b$
施加非線性函數（logistic sigmoid、tanh / hyperbolic tangent、ReLU）
$w$ 和 $b$ 是模型的參數（parameters）

h = \tanh\!\left(\sum_j w_j x_j + b\right)

活化函數	公式	特點
Sigmoid	$\sigma(z)=\dfrac{1}{1+e^{-z}}$	輸出 (0,1)，可當機率；兩端飽和導致梯度消失
Tanh	$\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$	輸出 (-1,1)，零中心，比 sigmoid 好訓練
ReLU	$\max(0, z)$	計算快、緩解梯度消失；負半軸「死亡」

1.2 輸出層

二元分類（binary classification）

輸出層只需一個節點；
用 sigmoid 當活化函數，輸出 $P(y=1\mid x)\in(0,1)$ 。

多類別分類（multi-class classification）

有幾個類別，輸出層就有幾個節點；
用 softmax 把各節點的輸出轉成和為 1 的機率分布：

\text{softmax}(z_i) = \frac{\exp(z_i)}{\sum_j \exp(z_j)}

1.3 訓練方法

(a) Loss function 損失函數

目標：最大化訓練資料的總機率 $L$ ：

L = \prod_{i=1}^{m} P(y_i \mid x_i)

等價地：最小化 $-\log L$ （負對數概似 / 交叉熵），找出最佳參數：

-\log L = -\sum_{i} \log P(y_i \mid x_i)

取 log 的理由：把連乘變成連加，減少數值下溢；加上負號後可用最小化損失的方式訓練。這個變換不會讓神經網路的目標變成凸函數。

(b) Gradient descent 梯度下降

作用：找到使 loss function 最小的權重。
更新規則： $\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$
TensorFlow / PyTorch 用 autodiff（自動微分）計算梯度，無需手推。
變體：SGD → mini-batch → Momentum / RMSProp / Adam。

因為 NN 參數極多，非常容易 overfit（low bias, high variance）。
所以正則化在 NN 訓練中非常重要：

方式	公式/做法	效果
L1-norm	$\lambda\sum\vert \theta\vert$	稀疏權重（特徵選擇）
L2-norm	$\lambda\sum\theta^2$	約束權重幅度；普通 SGD 下與權重衰減有對應關係
Dropout	訓練時隨機把部分神經元輸出置 0	減少神經元共適應，可理解為近似組合許多共享參數的子網路

(d) Dropout

若 dropout rate = 0.1，則每個被套用 dropout 的輸出都有 10% 的機率變為 0；
可用於任意層，但實務上主要用在隱藏層；
推論時關閉 dropout。常用的 inverted dropout 在訓練時把保留下來的輸出除以保留機率，推論時不再額外縮放。

1.4 應用一：主題分類（Topic Classification）

任務：給定文件，分類到預先定義的主題集合（economy / politics / sport…）。輸入：bag-of-words。

訓練

隨機初始化 $W$ 和 $b$
前向計算：

\vec{x} = [0,2,3,0] \;\rightarrow\; \vec{h} = \tanh(W_2\vec{x} + \vec{b}_1) \;\rightarrow\; \vec{y} = \text{softmax}(W_3\vec{h})

輸出機率分布 $\vec{y} = [0.1, 0.6, 0.3]$ ，對應 $C_1, C_2, C_3$
若真實標籤是 $C_1$ ： $L = -\log(0.1) \approx 2.303$

預測

測試輸入 $\vec{x} = [1,3,5,0]$
前向得 $\vec{y} = [0.2, 0.1, 0.7]$
預測類別 $= C_3$ （取 argmax）

改進方向

加入 bag of bigram 作為輸入（捕捉局部詞序）
前處理：lemmatise 詞形還原 + 去停用詞
不用原始計數，改用 TF-IDF 或 0/1 indicator（只記是否出現）

1.5 應用二：詞向量（Word Embedding）

定義：把離散的詞符號映射到低維連續向量空間。
作用：讓模型能刻畫詞與詞的相似性（dog vs. cat、walking vs. running）。
在 FFNN 中，embedding 本質上是一個可學習的查表結構（lookup table），矩陣 $W_1$ 的每一欄就是一個詞的向量。

1.6 應用三：FFNN 語言模型

預測 $P(w_i = \text{grass} \mid w_{i-3}=\text{a},\, w_{i-2}=\text{cow},\, w_{i-1}=\text{eats})$

流程：

對 a, cow, eats 查 word embedding（ $W_1$ ）
把三個向量 concatenate 串接
送入網路： $\vec{h} = \tanh(W_2\vec{x} + \vec{b}_1)$ ， $\vec{y} = \text{softmax}(W_3\vec{h})$
$\vec{y}$ 給出整個詞彙表上的機率分布

參數量分布：

大部分參數在 word embeddings $W_1$ （size $= d_1 \times \vert V\vert$ ）
以及 output embeddings $W_3$ （size $= \vert V\vert \times d_h$ ，其中 $d_h$ 是隱藏層維度）

1.7 FFNN 語言模型 vs 計數式 N-gram

維度	Count-based N-gram	FFNN N-gram
訓練成本	極低（只需統計計數）	較高（需梯度下降）
稀疏性	嚴重（未見 n-gram 機率為 0）	緩解（相似詞共享參數，泛化到未見組合）
長上下文	上下文變長時參數/稀疏問題惡化	可平滑擴展（但仍受固定視窗限制）
詞的性質	無法刻畫詞之間的語法/語意相似（film vs movie 視為兩個無關符號）	自動捕捉詞屬性，得到更穩健的估計

2. 循環神經網路 RNN

2.1 定義

允許表示任意長度的輸入；
核心理念：透過遞迴公式，一次處理序列中的一個輸入；
用狀態向量（state vector）表示先前處理過的上下文。

s_i = f(s_{i-1}, x_i), \qquad s_{i+1} = f(s_i, x_{i+1})

同一個 recurring function $f$ 在所有時間步重複使用。

2.2 節點（Node）

核心思路：每次只輸入一個詞（不是整句），結合前一個狀態產生新狀態。
每個節點的輸入是 word 的 embedding，狀態中帶位置/順序資訊。
輸入序列 $X$ 的長度可以變化，但每個輸入向量 $x_i$ 的維度和狀態向量 $s_i$ 的維度仍由模型固定。

Simple RNN 的兩個公式

s_i = \tanh(W_s s_{i-1} + W_x x_i + b)

y_i = \text{softmax}(W_y s_i)

$W_s$ ：狀態到狀態的權重（記憶如何傳遞）
$W_x$ ：輸入到狀態的權重
$W_y$ ：狀態到輸出的權重
$b$ ：偏置

圖 2-1　RNN 單一節點：新狀態 $s_i$ 由上一狀態 $s_{i-1}$ 與當前輸入 $x_i$ 共同決定。

2.3 網路（Network）

所有時間步共享同一組參數（ $W_s, W_x, b, W_y$ ），並透過狀態連接前後位置，因此參數量不隨序列長度直接增長。

圖 2-2　RNN 沿時間展開（unrolled）：所有時間步共享同一組參數 $W_s, W_x, W_y, b$ 。

2.4 訓練

每次只輸入一個 $x$ （LM 中是一個詞）；
同一個詞在不同時間步會產生不同的輸出 $y$ （因為狀態不同）；
Loss 是所有位置損失之和：

L = L(y_1) + L(y_2) + L(y_3) + \dots = \sum_t L(y_t)

用 BPTT（Back Propagation Through Time）沿展開的計算圖反向傳播，更新共享權重、偏置和可訓練的 embedding。

2.5 訓練範例（語言模型）

句子：a cow eats grass

$x_i$ 是當前詞（如 eats），先映射為 embedding
$s_{i-1}$ 包含前文（a, cow）的資訊
$y_i$ 預測下一個詞（grass）

網路按時間展開：

TEXT

a      cow     eats     grass
↓       ↓       ↓        ↓
RNN →  RNN  →  RNN   →  RNN
s1      s2      s3       s4
                ↓
            y3 = P(·|a cow eats) → 目標 grass

數值範例（詞彙表 {a, cow, eats, grass}）

位置	輸入	狀態 $s$	輸出分布 $y$	目標	Loss
1	a	$s_1$	[0.40, 0.30, 0.20, 0.10]	cow	$-\log(0.30)$
2	cow	$s_2$	[0.30, 0.20, 0.30, 0.20]	eats	$-\log(0.30)$
3	eats	$s_3$	[0.50, 0.10, 0.20, 0.20]	grass	$-\log(0.20)$

L_{\text{total}} = L_1 + L_2 + L_3

2.6 RNN 的問題

問題	說明
a) 訓練與解碼不一致	訓練時用 teacher forcing（餵真實前詞），推論時餵自己的預測，分布不一致（exposure bias）
b) 錯誤傳播，難以定位中間錯誤	錯誤沿時間步傳播、累積，且難以定位是哪一步出錯
c) 傾向產生空泛或通用的語句	傾向產生空泛、安全的高頻表達，缺乏具體資訊
d) 梯度消失	梯度沿時間反向傳播時指數衰減，長距離依賴學不到

2.7 梯度消失（Vanishing Gradient）

成因：時間展開後，反向傳播需要連乘各步的 Jacobian，其中包含共享權重和活化函數導數。連續相乘的有效增益較小時，梯度會衰減；過大時也可能爆炸；
後果：遠處位置的訓練訊號難以傳回，長距離依賴更難學習；有效記憶長度取決於模型、參數和任務，不能固定為某個步數；
對策：更合適的初始化、閘控結構（LSTM/GRU）、殘差連接和注意力機制。梯度裁剪主要用於控制梯度爆炸，不是恢復已經消失的梯度。

3. 長短期記憶網路 LSTM

3.1 定義與動機

普通 RNN 每步都把舊狀態與新輸入一起經過非線性變換，先前資訊可能逐步遺失；
LSTM 額外維護 memory cell（記憶單元），透過閘控的加法更新，讓資訊和梯度更容易沿時間傳播。

Memory 由閘門（gate）控制：

新的輸入應該寫入多少到記憶單元中（input gate）
當前記憶要忘掉多少（forget gate）
輸出時讀取多少（output gate）

閘門的本質：一個取值在 0 和 1 之間的向量（一般用 sigmoid 產生），與要控制的向量逐元素相乘，從而決定「保留多少資訊」。0 = 完全阻斷，1 = 完全通過。

3.2 RNN vs LSTM 結構

RNN：repeating module 只有一個簡單的 tanh 層（單層結構）。
LSTM：repeating module 有四個相互作用的層（3 個 sigmoid 閘門 + 1 個 tanh），並多了一條貫穿的 cell state 通道 $C_t$ 。

圖 3-1　普通 RNN 的重複模組只有一個 tanh 層，狀態被覆寫式更新。

圖 3-2　LSTM 的重複模組含四個相互作用層（3 個 sigmoid 閘門 + 1 個 tanh），並多出一條貫穿的 cell state 通道 $C_t$ 。

3.3 如何理解 Memory / 如何控制

如何理解 memory： $C_t$ 提供了一條貫穿時間步的加法更新路徑。遺忘閘門接近 1 時，資訊和梯度更容易保留；是否能長期記住仍取決於閘門的取值與訓練結果。

如何控制 Memory：四個步驟

步驟	作用
Forget	決定從舊 cell state $C_{t-1}$ 中丟棄多少
Input	決定把多少新資訊寫入
Update	用 forget 和 input 的結果更新 cell state
Output	決定從 cell state 中提取多少作為當前隱藏狀態 $h_t$

3.4 三個閘門與狀態更新公式

Forget gate（遺忘閘門）

f_t = \sigma\left(W_f\,[h_{t-1}, x_t] + b_f\right)

$f_t$ 控制舊 memory cell $C_{t-1}$ 中保留多少資訊：接近 0 時丟棄，接近 1 時保留。
例：The cats that the boy likes ...
- 預測關係子句裡的 likes 時，需要記住當前主詞 boy 是單數；
- 之後預測主句動詞時，又可能需要 cats 的複數資訊；
- 因此不能簡單理解為「遇到 boy 就把 cats 全部忘掉」：不同維度的記憶可以分別保留不同的資訊。

Input gate（輸入閘門）

i_t = \sigma\left(W_i\,[h_{t-1}, x_t] + b_i\right)

\tilde{C}_t = \tanh\left(W_C\,[h_{t-1}, x_t] + b_C\right)

$i_t$ ：控制多少新資訊寫入 memory cell；
$\tilde{C}_t$ ：新的候選資訊（distilled information），例如關於 boy 的資訊。

Update（更新 cell state）

C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

用遺忘閘門「打折」舊記憶，加上輸入閘門「放行」的新記憶。
關鍵：這裡是加法而非覆寫，梯度可以沿 $C_t$ 直接回流 → 緩解梯度消失。

Output gate（輸出閘門）

o_t = \sigma\left(W_o\,[h_{t-1}, x_t] + b_o\right)

h_t = o_t \odot \tanh(C_t)

控制從 cell state 中「提煉」多少內容形成當前時刻的隱藏狀態 $h_t$ 。

$[h_{t-1}, x_t]$ 表示把上一時刻的隱藏狀態與目前輸入串接（concatenate）成一個向量。

圖 3-3　記憶單元內部：三條箭頭分別對應 cell state 直通、上一隱藏狀態 $h_{t-1}$ 、當前輸入 $x_t$ ； $\sigma$ 與 $\tanh$ 並聯構成各閘門。

3.5 參數數量

設

$\text{Hidden}_{dim}$ = memory 的維度（也是 $h_t$ 的維度）
$\text{Input}_{dim}$ = word embedding 的維度

\#\text{params} = 4 \times (\text{Hidden}_{dim} + \text{Input}_{dim}) \times \text{Hidden}_{dim} + 4 \times \text{Hidden}_{dim}

為什麼是 4？因為有 4 組權重： $W_f, W_i, W_C, W_o$ ，且每組的維度相同（row, column）。
採用欄向量（column vector）慣例時，每組權重的列數是輸出維度 $\text{Hidden}_{dim}$ ；
欄數是串接輸入長度 $\text{Hidden}_{dim} + \text{Input}_{dim}$ ；
最後 $4 \times \text{Hidden}_{dim}$ 是 4 組 bias 常數。

舉例：Hidden = 256, Input = 300

4 \times (256+300)\times 256 + 4\times256 = 569{,}344 + 1{,}024 = 570{,}368

3.6 RNN / LSTM 的應用

應用	說明
Wikipedia Generator	訓練語料規整，產生百科式文本
Code Generator	產生程式碼（結構性強，易評估）
語音辨識	把聲學特徵序列映射為文本
Text Classification	用最後隱藏狀態或池化作為文件表示
Sequence Labelling	POS、NER（每個位置輸出一個標籤）

3.7 變體

變體	要點
Peephole connections	允許閘門「看到」 cell state（ $C_{t-1}$ 也參與閘門的計算）
GRU（Gated Recurrent Unit）	簡化版：只有 2 個閘門（reset / update），沒有獨立 memory cell，參數更少、訓練更快，效果常與 LSTM 相當
Multi-layer LSTM	堆疊多層，逐層抽象（但實務上不易堆太深）
Bidirectional LSTM	正向 + 反向兩個 LSTM，串接兩方向隱藏狀態 → 每個位置同時擁有左右上下文（不能用於自迴歸生成）

3.8 優缺點

優點

有能力捕捉長距離上下文（相較於樸素 RNN）；
和 FFNN 一樣靈活：可用於分類、序列標註、生成等多種任務。

缺點

由於順序處理，比 FF 網路慢（無法在時間維度並行）；
實務上並不能很好地捕捉很長的依賴（產生長文本時尤其明顯）；
實務上不易堆疊（multi-layer LSTM 收益有限、訓練不穩）；
隨著更先進架構（Transformer）出現，如今已不那麼流行。

4. Transformer

4.1 定義

不像 RNN 那樣逐位置傳遞一個循環狀態，而是用 attention（注意力）直接建立位置之間的聯繫；
已知整段輸入時，同一層各位置的表示可以並行計算；訓練自迴歸語言模型時，也能利用 causal mask 同時計算多個位置的損失；
並行計算不等於各位置相互獨立。自迴歸生成時，下一個 token 仍依賴已生成的前文，需要逐步解碼；
這種結構縮短了遠距離位置之間的資訊路徑，也更適合 GPU 上的矩陣運算。

4.2 動機：從 RNN 到 Attention

對於「輸入文本 → 輸出文本」類問題，原本用 RNN 順序處理輸入和當前輸出；
Attention 最初是為了解決 RNN 的資訊瓶頸（Bottleneck Problem）：RNN 必須把整句壓進一個固定長度向量。Attention 允許每個輸出節點與所有輸入節點直接對比，挑出最相關的輸入節點來決定自己的輸出；
既然 Attention 可以直接存取全部輸入，就不再需要順序處理的 RNN 了；
於是誕生了 Transformer：其 Encoder 使用 Self-Attention 而非 RNN（論文 Attention Is All You Need, 2017）。

圖 4-1　Transformer 整體架構（左 Encoder、右 Decoder，各堆疊 $N$ 層；底部為 Input/Output Embedding + Positional Encoding）。來源：Vaswani et al., Attention Is All You Need, NeurIPS 2017, Figure 1。

4.3 使用情境

任何「輸入文本 → 輸出文本」的任務：

Language Model：預測下一個詞
Dialog System：給定使用者輸入，產生合適回覆
Machine Translation：從一種語言翻譯成另一種語言

本質都是「一段輸入文本 → 另一段輸出文本」，Transformer 非常適合。

4.4 Self-Attention：Query / Key / Value

直覺類比：

用目標詞的 Query（查詢）去和所有詞的 Key（鍵）做相關性比較，再根據這些相關性，按比例參考對應的 Value（值）。

例子：句子 I made her duck，目標詞 her

角色	內容
Query $q$	目標詞 her 的查詢向量
Key $k$ / Value $v$	上下文詞（I, made, duck）以及目標詞自身的鍵/值

圖 4-2　Self-attention 的權重分配：目標詞 her 的 Query 與各詞 Key 比較後，按權重對 Value 加權求和得到 her 的新表示。

步驟

產生 Q/K/V：本節把每個詞的 embedding $x_i$ 寫成列向量（row vector），分別乘以三個投影矩陣 $W_Q, W_K, W_V$ ：

q_i = x_i W_Q,\qquad k_i = x_i W_K,\qquad v_i = x_i W_V

計算相關性：目標詞的 $q$ 與所有詞的 $k$ 做內積（dot product），得到相關性分數；
正規化：對分數做 softmax，得到一個機率分布（權重和為 1）；
加權求和：用這個分布對所有 $v$ 加權求和，得到目標詞的輸出向量 $z$ ；
對所有輸入詞重複上述流程，得到各自的 $z$ ，按位置排列即為一個 attention head 的輸出。

核心結論：目標詞的最終表示 = 上下文詞（含自身）value 向量的加權和，權重由 query–key 的相似度決定。

圖 4-3　左：Scaled Dot-Product Attention（MatMul → Scale → Mask → Softmax → MatMul）；右：Multi-Head Attention（多組線性投影並行計算後 Concat 再線性變換）。來源：Vaswani et al., 2017, Figure 2。

4.5 公式

單一 query 形式

\text{SelfAttention}(q, K, V) = \sum_i \frac{\exp(q \cdot k_i)}{\sum_j \exp(q \cdot k_j)}\, v_i

矩陣形式（將各個 $q_i$ 、 $k_i$ 、 $v_i$ 分別按列堆疊為 $Q$ 、 $K$ 、 $V$ ）

\text{SelfAttention}(Q, K, V) = \text{softmax}(QK^\top)\,V

Scaled Dot-Product Attention（實際使用）

\text{SelfAttention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

為什麼要除以 $\sqrt{d_k}$ ？ $d_k$ 是 key 向量的維度。內積的變異數隨維度增長，維度大時 softmax 的輸入數值過大 → 分布極端（接近 one-hot）→ 梯度極小。除以 $\sqrt{d_k}$ 縮放使數值穩定（避免數值過大/梯度消失）。

圖 4-4　逐詞計算 Q/K/V：每個 embedding $x_i$ 分別乘 $W_Q, W_K, W_V$ ，再用目標詞的 $q$ 與所有 $k$ 內積、softmax 得到權重。

4.6 Multi-Head Attention

動機：句子中不同詞之間可以透過多種方式相互關聯：

關係類型	例子
syntactically（句法）	主詞與動詞的一致關係（noun–verb agreement）
semantically（語意）	同義詞
discourse（篇章）	it 指代前文的 the dog

Multi-head attention 讓模型能在不同的表示子空間中並行關注不同關係，因此：

獨立地執行 attention 計算 $h$ 次（不同 head 有各自的 $W_Q^{(i)}, W_K^{(i)}, W_V^{(i)}$ ）；
把每個 head 的輸出 $z^{(i)}$ concatenate 起來；
再乘輸出投影矩陣 $W_O$ ，把串接結果映射回模型維度 $d$ ，融合多頭資訊；
這個輸出作為輸入傳入下一層。

\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W_O

\text{head}_i = \text{Attention}(QW_Q^{(i)}, KW_K^{(i)}, VW_V^{(i)})

多層 Transformer 會重複這些模組。原始 Transformer 在輸入 embedding 上加入一次位置編碼；其他位置編碼方案的注入方式可能不同。

4.7 Transformer Block

以原始 Transformer 的 Encoder block 為例，除 self-attention 外還包含：

元件	數量	作用
Feedforward layer	1×	逐位置的兩層 MLP（先升維再降維），提供非線性變換能力
Residual connection（殘差連接）	2×	把輸入與子層輸出相加（ $x + f(x)$ ），保留資訊和梯度的直接傳播路徑，便於訓練深層網路
Normalisation layer（LayerNorm）	2×	對各位置的隱藏特徵做正規化，並學習縮放和偏置，有助於穩定訓練

注意：這裡用的是 Layer Normalization，對每個位置自身的特徵維度正規化，不依賴一個 batch 中其他樣本的統計量。下圖採用原始 Transformer 的 Post-LN 順序，其他變體也可能採用 Pre-LN。

圖 4-5　Transformer Block 內部：Self-Attention 與 Feed Forward 兩個子層，各自包一層殘差連接 + LayerNorm。

4.8 堆疊（Stack Them Up）

堆更多 Transformer 模組 → 學習更深層次的詞語表示；
GPT-3（175B）擁有 96 個 Transformer 模組。

4.9 位置資訊問題

問題：不加入位置資訊時，self-attention 本身無法區分詞序。對輸入作同樣的置換，輸出也只是隨之置換，而不會憑空知道哪個詞在前、哪個詞在後；因此需要額外的位置表示來區分 dog bites man 與 man bites dog。

Positional Embeddings（可學習位置嵌入）

輸入 embedding $X$ = word embeddings + position embeddings（兩者相加）；
隨機初始化位置向量，讓模型自己學習；
做法：位置 1 一個 embedding、位置 2 一個……直到某個最大長度；
限制：位置查表結構有預設長度，未訓練過的位置缺少可靠的表示；要處理更長序列，通常需要額外的擴展方法。

Static Functions（正弦位置編碼）

用一個靜態函數把每個位置映射為固定向量，不學習：

PE_{(pos, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d}}\right), \qquad PE_{(pos, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d}}\right)

優點：任意位置都能按公式計算，相對位移有規律可循，且不增加可訓練參數；不過「能計算更長位置」不等於模型一定能在更長序列上可靠泛化。
現代變體：RoPE（Rotary Position Embedding）、ALiBi（LLaMA 用 RoPE）。

4.10 Decoder-only 架構

自迴歸語言模型用 next-token prediction 建模文本，把已有前文作為輸入；
沒有單獨的來源序列編碼器時，也就不需要 Encoder–Decoder 之間的 cross-attention；
只保留帶 causal mask 的 self-attention、FFN 等模組，堆疊成 Decoder-only 架構，GPT 系列採用的就是這一思路。Encoder 和 Encoder–Decoder 結構仍適合各自的理解或序列轉換任務。

5. 詞向量：計數法

5.1 詞向量（Word Vector Embedding）總覽

編碼詞的上下文資訊；
能捕捉各種語意關係（同義 synonymy、類比 analogy 等）；
來源之一：FFNN 中的 embedding layer 可以順帶訓練出來；
本節比較兩大類方法：
1. Count-based methods（計數法，本節）
2. 更有效率的神經方法，專門為學習詞向量設計（第 6 節）

5.2 文件作為上下文：向量空間模型（VSM）

核心思想：把詞義表示為向量；
把文件當作詞的上下文；
一個矩陣，兩個視角：

視角	列／欄	含義
文件視角	每列是一篇文件	文件由它包含的詞表示
詞視角	每欄是一個詞	詞由它出現的文件表示（欄向量就是詞向量）

詞–文件矩陣範例（列 = 文件 id，欄 = 詞）

	state	fun
425	0	1
426	3	0
427	0	0

問題：直接用原始計數，高頻詞（the, of）會主導向量；且向量維度 = 文件數，非常稀疏、維度高。

5.3 TF-IDF

資訊檢索中的標準加權方案；
核心作用：懲罰常見詞（discounts common words）。

Term Frequency（詞頻）

矩陣中每一欄代表一個詞，每一列代表一個文件；
最簡單的 TF 就是計數 $tf_{t,d}$ （也可取 $\log(1+tf)$ 或正規化）。

Inverse Document Frequency（逆文件頻率）

idf_w = \log \frac{\vert D\vert }{df_w}

$\vert D\vert$ = 文件總數
$df_w$ = 包含詞 $w$ 的文件數
含義：透過「同一個詞出現在多少個不同文件裡」來懲罰 TF——出現在越多文件裡，區分度越低，權重越小。

組合

\text{TF-IDF} = TF \times IDF

這裡使用的是常規版本，實際還有帶平滑的變體（如 $\log\frac{1+\vert D\vert }{1+df_w}+1$ ）；
工程實作：sklearn.feature_extraction.text.TfidfVectorizer()。

範例（tf 矩陣 → tf-idf 矩陣）

tf 矩陣（列 425/426/427，欄 the/country/hell）：

	the	country	hell
425	43	5	1
426	24	1	0
427	37	0	3
$df$	500	14	7

這裡顯示完整語料中的三列文件；設總文件數 $\vert D\vert=500$ ，採用底數為 2 的對數，並把 country、hell 的 IDF 分別近似為 5.2、6.2 後再相乘。

→ the 出現在全部 500 篇文件裡，因此 $idf=0$ ；而 hell 只出現在 7 篇中，權重相對升高。

	country	hell
425	26.0	6.2
426	5.2	0
427	0	18.6

5.4 降維（Dimensionality Reduction）

SVD（奇異值分解）

A = U \Sigma V^\top

為了按列取得詞向量，這裡把前面的文件–詞矩陣轉置； $A$ 是 $\vert V\vert \times \vert D\vert$ 的詞–文件矩陣
$U$ ： $\vert V\vert \times m$ ，新的詞矩陣（每列是一個詞的表示）
$\Sigma$ ： $m \times m$ 的奇異值對角矩陣（按重要性降序）
$V^\top$ ： $m \times \vert D\vert$ ，新的文件矩陣
$m = \text{Rank}(A)$

保留全部非零奇異值時，這是一種等價分解；實際降維和去噪通常依靠下面的截斷版本。

Latent Semantic Analysis（LSA，潛在語意分析）

只保留最大的 $k$ 個奇異值及對應方向，用 $U_k$ 或 $U_k\Sigma_k$ 的各列作為 word vector；
是有損壓縮：丟掉小的奇異值對應的維度（視為雜訊/細節）；
依據：很多任務只需要詞之間少量關係就足夠（ $k$ 常取 100–300）；
副產品：能捕捉「同義但不同詞」的潛在語意（因為文件共現模式相似）。

完整的 TF-IDF 詞向量流程

TEXT

tf-idf matrix  →  SVD  →  U  →  pick k  →  只保留前 k 維  →  word embedding  →  LSTM（或下游模型）

圖 5-1　TF-IDF 矩陣做奇異值分解 $A=U\Sigma V^\top$ ，取 $U$ 的前 $k$ 欄即得到 $k$ 維詞向量（LSA）。

5.5 詞作為上下文（Word as Context）

思路：根據詞與詞之間的關係，用同時出現的頻率（co-occurrence）作為 context 來取得詞義；
「具體多近才算 context」需要事先定義：常用視窗大小（如 ±2、±5）、是否按句、是否加權（越近權重越大）；
同樣存在 common words 問題（the, of 與所有詞都共現）→ 用 PMI 修正。

5.6 點互資訊 PMI（Pointwise Mutual Information）

\text{PMI}(x, y) = \log_2 \frac{P(x, y)}{P(x)\,P(y)}

含義：實際共現機率相對於「若兩詞獨立則應有的共現機率」的比值。

$\text{PMI} > 0$ ：共現多於偶然，正相關（相關詞）
$\text{PMI} = 0$ ：這一詞對的共現機率等於獨立假設下的機率
$\text{PMI} < 0$ ：共現少於偶然，負相關（互補/排斥）

範例：計算 PMI(heaven, hell)

共現矩陣（視窗共現計數，節選）

	the	country	hell	Σ
state	1973	10	1	12786
fun	54	2	0	633
heaven	55	1	3	627
Σ	1047519	3817	780	15871304

$P(\text{heaven}) = 627 / 15871304$
$P(\text{hell}) = 780 / 15871304$
$P(\text{heaven}, \text{hell}) = 3 / 15871304$ （若該格計數為 3）

代回公式：

\text{PMI}(\text{heaven},\text{hell})=\log_2\frac{3\times15871304}{627\times780}\approx6.61

這裡 heaven 與 hell 的計數為 3，所以 PMI 為正。下面表中 -inf 對應的是 fun 與 hell，其共現計數為 0：在邊際機率非零時， $P(x,y)=0 \Rightarrow \log 0=-\infty$ 。

PMI 矩陣（節選）

	the	country	hell
state	1.22	1.78	0.63
fun	0.37	3.79	-inf
heaven	0.41	2.80	6.61

5.7 PMI 的三個額外技巧

技巧	做法	原因
把 $-\infty$ 或負數替換為 0	$\text{PPMI} = \max(\text{PMI}, 0)$	保留高於獨立假設的共現關係，減少低頻負關聯估計不可靠帶來的影響
Normalised PMI（NPMI）	$\text{NPMI}(x,y) = \dfrac{\text{PMI}(x,y)}{-\log_2 P(x,y)}$	分子、分母使用同一對數底；對 $0<P(x,y)<1$ 正規化到 $[-1,1]$ ，便於跨詞對比較
PMI 也可以做 SVD 化簡	對 PMI 矩陣做 SVD 取前 $k$ 維	降維去噪，得到稠密低維詞向量

補充：低頻詞對的 PMI 容易虛高，不能僅憑分數判斷關聯強弱。可以結合最低共現頻次過濾或平滑來減少雜訊。若採用 $\log\frac{P(x,y)^k}{P(x)P(y)}$ 這種 PMI $^k$ 變體， $k>1$ 才會比普通 PMI 更強地壓低低共現機率的詞對。

6. 詞向量：神經法 Word2Vec

6.1 Word2Vec 概述

神經式分布語意學：用神經網路實現「分布語意學」（詞義由上下文決定）。
核心思想：用上下文詞預測目標詞（或反過來）。
透過預測詞的訓練任務學習 embedding：CBOW 的輸入是上下文，Skip-gram 的輸入是中心詞；輸出是待預測詞的機率分布或詞對分類結果，詞向量是訓練得到的參數。
兩種具體實作（均出自 Mikolov et al., 2013）：

模型	方向	說明
Skip-gram	用目標詞預測周圍詞	實務上更擅長低頻詞
CBOW（Continuous Bag of Words）	用周圍詞預測目標詞	更快，且更擅長高頻詞

「surrounding words」的範圍（視窗 $L$ ）視情況而定，下面的範例取 $L=2$ 。

圖 6-1　兩種 Word2Vec 結構：CBOW（用上下文預測中心詞）與 Skip-gram（用中心詞預測上下文）。來源：Mikolov et al., 2013, Figure 1。

6.2 Skip-gram 模型

目標：最大化給定目標詞時，其上下文中出現正確詞的機率。

句子範例：... Bereft of life he rests in peace! If you hadn't nailed him ...，目標詞 rests， $L=2$ 的上下文為 {he, in, life, peace}。

機率建模：上下文詞的機率 = 以目標詞為條件的聯合機率：

P(\text{context} \mid w_t) = \prod_{i \in [-L, \dots, -1, 1, \dots, L]} P(w_{t+i} \mid w_t)

假設：給定中心詞後，各上下文詞按條件獨立處理，因此可以寫成連乘；這個基本版本不區分上下文詞的先後次序。

6.3 用羅吉斯迴歸實作（softmax 形式）

P(w_O \mid w_I) = \frac{\exp(v'_{w_O}{}^\top v_{w_I})}{\sum_{w \in V} \exp(v'_{w}{}^\top v_{w_I})}

其中 $v$ 是輸入（中心詞）向量， $v'$ 是輸出（上下文詞）向量。

可以轉化為一個神經網路：

TEXT

one-hot x (1×|V|)  →  W (|V|×d)  →  h (1×d)  →  C (d×|V|)  →  softmax  →  P(·|w_t)
                    輸入 embedding          輸出 embedding

6.4 Embedding 參數化：兩個矩陣

關鍵細節：Word2Vec 有兩套詞向量矩陣：

$W$ （ $\vert V\vert \times d$ ）：target word embedding（中心詞/輸入 embedding）
$C$ （ $d \times \vert V\vert$ ）：context word embedding（上下文/輸出 embedding）

訓練完成後通常只保留 $W$ （或兩者平均）作為最終詞向量。

怎麼選 $d$ ？把維度作為超參數，結合語料規模、下游任務和計算預算調校；100–300 維是常見的起點。

訓練目的：輸入任何一個單詞，就能得到「每個詞是它 context word 的機率」，並希望正確的 context word 機率最大。

問題：太慢——分母要對整個詞彙表（ $\vert V\vert$ 可達百萬）求和，每個訓練樣本都要遍歷全部詞。

6.5 優化：Negative Sampling（負取樣）

把「預測 $P(\text{context} \mid \text{word})$ 」轉化為一個二元分類問題：

把語料中實際觀察到的中心詞–上下文詞對作為正樣本；
從雜訊分布抽取詞，與中心詞組成負樣本；
訓練一個二元分類器，區分真實共現詞對和取樣詞對。

為什麼需要負取樣？

核心目的是避免每個樣本都計算全詞彙表 softmax；
每個正樣本只配少量負樣本，不要求正負樣本數量相等；
它把訓練目標換成詞對二元分類，不再直接計算正規化的下一詞機率。

最大概似估計

\max \ \sum_{(w,c)\in D} \log \sigma(u_c^\top v_w) + \sum_{(w,c)\in D'} \log \sigma(-u_c^\top v_w)

其中 $D$ 、 $D'$ 分別是正、負詞對集合， $v_w$ 是輸入向量， $u_c$ 是輸出向量。

對正樣本，最大化 $P(+\mid \text{word},\text{context})$ ；
對負樣本，最大化 $P(-\mid \text{word},\text{context})$ ，也就是壓低它被判為真實共現的機率。

對於 embedding 的直覺：經常共現的輸入詞與輸出上下文向量傾向於有較大的內積；擁有相似上下文的詞可能學到相近表示。內積也受向量長度影響，不能直接等同於餘弦相似度。

6.6 Loss function

實務上對每個正樣本取 $k$ 個負樣本（常見 $k=5\sim20$ ，具體需按語料調節）。下面 $T$ 表示正樣本詞對數， $c_t$ 是中心詞， $o_t$ 是觀察到的上下文詞：

J(\theta) = -\frac{1}{T}\sum_{t=1}^{T}\left[\log \sigma(u_{o_t}^\top v_{c_t}) + \sum_{i=1}^{k} \mathbb{E}_{w_i \sim P_n(w)}\log \sigma(-u_{w_i}^\top v_{c_t})\right]

負樣本依單詞分布（unigram distribution） $P_n(w)$ （通常與詞頻的 3/4 次方成正比）取樣，既避免高頻詞壟斷，也不會取到太多罕見詞。

優點：

Unsupervised：不需要人工標註，任何語料都能用；
Efficient：負取樣讓每步計算量與詞彙表無關，可擴展到十億級語料。

7. 詞向量評估

7.1 內在評估一：詞相似度（Word Similarity）

問題：怎麼知道單詞的 embedding 做得好不好？

方法：用 cosine similarity 計算兩個語意相似詞（如 well & good）的向量餘弦相似度，與人工評分的相似度做相關性比較（Spearman 相關）。

\cos(u, v) = \frac{u \cdot v}{\Vert u\Vert \,\Vert v\Vert }

為什麼用餘弦而不是歐氏距離？只看方向、不看長度，避免「高頻詞向量長度更大」帶來的偏差。

7.2 內在評估二：詞類比（Word Analogy）

方法：在 embedding 空間中做向量運算，看最近鄰是否符合語意關係。

\text{king} - \text{man} + \text{woman} \approx \text{queen}

向量相加還可以示意語意組合，不過這不是標準的類比評測：

\text{breakfast} + \text{lunch} + \text{dinner} \approx \text{與 meal 相關的方向} \quad\text{（僅作語意組合的直覺範例，不是恆等式）}

常用資料集：Google analogy set（含 semantic 與 syntactic 兩類）。

7.3 外在評估：下游任務（Downstream Tasks）

方法：直接把 embedding 用到實際任務（分類、NER、翻譯…）裡，用任務效能反過來衡量 embedding 品質。

優點：真正反映「有沒有用」；
缺點：慢、受下游模型影響大（換分類器結論可能改變），無法定位是 embedding 的哪一維出了問題。

實務建議：內在評估快、便宜，用於快速迭代；最終結論必須看下游任務。