NLP 学习笔记（二）：神经网络与词表示 - Bojin Li

这是我在墨大上 COMP90042 NLP 时的笔记，这一篇是课程中神经网络与词表示的部分：从 FFNN、RNN、LSTM 到 Transformer，再到计数式词向量、Word2Vec 和评估方法。

1. 前馈神经网络 FFNN

1.1 深度学习基础

深度学习是机器学习的一个分支，主要使用多层神经网络学习数据表示。
为什么叫 deep？因为有很多层堆叠在一起（多层非线性变换）。
起源受人类大脑工作方式启发：由大量计算单元组成，这些单元称为 neurons（神经元）。

Feed-forward NN（前馈神经网络）

本节采用的全连接前馈网络，也叫 multilayer perceptron（多层感知机，MLP）。
信息只向前流动：输入层 → 隐藏层 → 输出层，没有循环连接；处理序列时通常需要预先组织好固定长度的输入。
每条箭头带一个 weight，表示其重要性。
某些层带非线性激活函数（否则多层堆叠等价于单层线性变换）。

图 1-1　三层前馈网络：Input layer → Hidden layer → Output layer，每条箭头是一个权重。

单个神经元：一个函数 $h = f(x)$

给定输入 $x$ ，计算一个标量 $h$
用权重 $w$ 缩放输入，并加上偏置 $b$
施加非线性函数（logistic sigmoid、tanh / hyperbolic tangent、ReLU）
$w$ 和 $b$ 是模型的参数（parameters）

h = \tanh\!\left(\sum_j w_j x_j + b\right)

激活函数	公式	特点
Sigmoid	$\sigma(z)=\dfrac{1}{1+e^{-z}}$	输出 (0,1)，可当概率；两端饱和导致梯度消失
Tanh	$\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$	输出 (-1,1)，零中心，比 sigmoid 好训练
ReLU	$\max(0, z)$	计算快、缓解梯度消失；负半轴"死亡"

1.2 输出层

二分类（binary classification）

输出层只需一个 node；
用 sigmoid 当激活函数，输出 $P(y=1\mid x)\in(0,1)$ 。

多分类（multi-class classification）

有几个类，输出层就有几个 node；
用 softmax 把各 node 的输出转成和为 1 的概率分布：

\text{softmax}(z_i) = \frac{\exp(z_i)}{\sum_j \exp(z_j)}

1.3 训练方法

(a) Loss function 损失函数

目标：最大化训练数据的总概率 $L$ ：

L = \prod_{i=1}^{m} P(y_i \mid x_i)

等价地：最小化 $-\log L$ （负对数似然 / 交叉熵）对参数求最优：

-\log L = -\sum_{i} \log P(y_i \mid x_i)

取 log 的理由：把连乘变连加，减少数值下溢；加上负号后可用最小化损失的方式训练。这个变换不会让神经网络的目标变成凸函数。

(b) Gradient descent 梯度下降

作用：找到使 loss function 最小的权重。
更新规则： $\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$
TensorFlow / PyTorch 用 autodiff（自动微分）计算梯度，无需手推。
变体：SGD → mini-batch → Momentum / RMSProp / Adam。

因为 NN 参数极多，非常容易 overfit（low bias, high variance）。
所以正则化在 NN 训练中非常重要：

方式	公式/做法	效果
L1-norm	$\lambda\sum\vert \theta\vert$	稀疏权重（特征选择）
L2-norm	$\lambda\sum\theta^2$	约束权重幅度；普通 SGD 下与权重衰减有对应关系
Dropout	训练时随机把部分神经元输出置 0	减少神经元共适应，可理解为近似组合许多共享参数的子网络

(d) Dropout

若 dropout rate = 0.1，则每个被应用 dropout 的输出都有 10% 的概率变为 0；
可用于任意层，但实践中主要用在隐藏层；
推理时关闭 dropout。常用的 inverted dropout 在训练时把保留下来的输出除以保留概率，推理时不再额外缩放。

1.4 应用一：主题分类（Topic Classification）

任务：给定文档，分类到预定义主题集合（economy / politics / sport…）。输入：bag-of-words。

训练

随机初始化 $W$ 和 $b$
前向计算：

\vec{x} = [0,2,3,0] \;\rightarrow\; \vec{h} = \tanh(W_2\vec{x} + \vec{b}_1) \;\rightarrow\; \vec{y} = \text{softmax}(W_3\vec{h})

输出概率分布 $\vec{y} = [0.1, 0.6, 0.3]$ ，对应 $C_1, C_2, C_3$
若真实标签是 $C_1$ ： $L = -\log(0.1) \approx 2.303$

预测

测试输入 $\vec{x} = [1,3,5,0]$
前向得 $\vec{y} = [0.2, 0.1, 0.7]$
预测类别 $= C_3$ （取 argmax）

改进方向

加入 bag of bigram 作为输入（捕捉局部词序）
预处理：lemmatise 词形还原 + 去停用词
不用原始计数，改用 TF-IDF 或 0/1 indicator（只记是否出现）

1.5 应用二：词向量（Word Embedding）

定义：把离散的词符号映射到低维连续向量空间。
作用：让模型能刻画词与词的相似性（dog vs. cat、walking vs. running）。
在 FFNN 中，embedding 本质是一个可学习的查找表（lookup table），矩阵 $W_1$ 的每一列就是一个词的向量。

1.6 应用三：FFNN 语言模型

预测 $P(w_i = \text{grass} \mid w_{i-3}=\text{a},\, w_{i-2}=\text{cow},\, w_{i-1}=\text{eats})$

流程：

对 a, cow, eats 查 word embedding（ $W_1$ ）
把三个向量 concatenate 拼接
送入网络： $\vec{h} = \tanh(W_2\vec{x} + \vec{b}_1)$ ， $\vec{y} = \text{softmax}(W_3\vec{h})$
$\vec{y}$ 给出整个词表上的概率分布

参数量分布：

大部分参数在 word embeddings $W_1$ （size $= d_1 \times \vert V\vert$ ）
以及 output embeddings $W_3$ （size $= \vert V\vert \times d_h$ ，其中 $d_h$ 是隐藏层维度）

1.7 FFNN 语言模型 vs 计数式 N-gram

维度	Count-based N-gram	FFNN N-gram
训练成本	极低（只需统计计数）	较高（需梯度下降）
稀疏性	严重（未见 n-gram 概率为 0）	缓解（相似词共享参数，泛化到未见组合）
长上下文	上下文变长时参数/稀疏问题恶化	可平滑扩展（但仍受固定窗口限制）
词的性质	无法刻画词之间的语法/语义相似（film vs movie 视为两个无关符号）	自动捕捉词属性，得到更稳健的估计

2. 循环神经网络 RNN

2.1 定义

允许表示任意长度的输入；
核心理念：通过递推公式，一次处理序列中的一个输入；
用**状态向量（state vector）**表示先前处理过的上下文。

s_i = f(s_{i-1}, x_i), \qquad s_{i+1} = f(s_i, x_{i+1})

同一个 recurring function $f$ 在所有时间步复用。

2.2 节点（Node）

核心思路：每次只输入一个词（不是整句），结合前一个状态生成新状态。
每个 node 的输入是 word 的 embedding，状态中带位置/顺序信息。
输入序列 $X$ 的长度可以变化，但每个输入向量 $x_i$ 的维度和状态向量 $s_i$ 的维度仍由模型固定。

Simple RNN 的两个公式

s_i = \tanh(W_s s_{i-1} + W_x x_i + b)

y_i = \text{softmax}(W_y s_i)

$W_s$ ：状态到状态的权重（记忆如何传递）
$W_x$ ：输入到状态的权重
$W_y$ ：状态到输出的权重
$b$ ：偏置

图 2-1　RNN 单个节点：新状态 $s_i$ 由上一状态 $s_{i-1}$ 与当前输入 $x_i$ 共同决定。

2.3 网络（Network）

所有时间步共享同一组参数（ $W_s, W_x, b, W_y$ ），并通过状态连接前后位置，因此参数量不随序列长度直接增长。

图 2-2　RNN 沿时间展开（unrolled）：所有时间步共享同一组参数 $W_s, W_x, W_y, b$ 。

2.4 训练

每次只 input 一个 $x$ （LM 中是一个 word）；
同一个词在不同时间步会产生不同的输出 $y$ （因为状态不同）；
Loss 是所有位置损失之和：

L = L(y_1) + L(y_2) + L(y_3) + \dots = \sum_t L(y_t)

用 BPTT（Back Propagation Through Time）沿展开的计算图反向传播，更新共享权重、偏置和可训练的 embedding。

2.5 训练示例（语言模型）

句子：a cow eats grass

$x_i$ 是当前词（如 eats），先映射为 embedding
$s_{i-1}$ 包含前文（a, cow）的信息
$y_i$ 是下一个词（grass）

网络按时间展开：

TEXT

a      cow     eats     grass
↓       ↓       ↓        ↓
RNN →  RNN  →  RNN   →  RNN
s1      s2      s3       s4
                ↓
            y3 = P(·|a cow eats) → 目标 grass

数字示例（词表 {a, cow, eats, grass}）

位置	输入	状态 $s$	输出分布 $y$	目标	Loss
1	a	$s_1$	[0.40, 0.30, 0.20, 0.10]	cow	$-\log(0.30)$
2	cow	$s_2$	[0.30, 0.20, 0.30, 0.20]	eats	$-\log(0.30)$
3	eats	$s_3$	[0.50, 0.10, 0.20, 0.20]	grass	$-\log(0.20)$

L_{\text{total}} = L_1 + L_2 + L_3

2.6 RNN 的问题

问题	说明
a) Mismatch between training and decoding	训练时用 teacher forcing（喂真实前词），推理时喂自己的预测，分布不一致（exposure bias）
b) Error propagation, unable to locate intermediate error	错误沿时间步传播、累积，且难以定位是哪一步出错
c) Tends to generate "blank" or "generic" language	倾向生成空泛、安全的高频表达，缺乏具体信息
d) Vanishing gradient	梯度沿时间反向传播时指数衰减，长距离依赖学不到

2.7 梯度消失（Vanishing Gradient）

成因：时间展开后，反向传播需要连乘各步的 Jacobian，其中包含共享权重和激活函数导数。连续相乘的有效增益较小时，梯度会衰减；过大时也可能爆炸；
后果：远处位置的训练信号难以传回，长距离依赖更难学习；有效记忆长度取决于模型、参数和任务，不能固定为某个步数；
对策：更合适的初始化、门控结构（LSTM/GRU）、残差连接和注意力机制。梯度裁剪主要用于控制梯度爆炸，不是恢复已经消失的梯度。

3. 长短期记忆网络 LSTM

3.1 定义与动机

普通 RNN 每步都把旧状态与新输入一起经过非线性变换，先前信息可能逐步丢失；
LSTM 额外维护 memory cell（记忆单元），通过门控的加法更新，让信息和梯度更容易沿时间传播。

Memory 由门（gate）控制：

新的输入应该写多少到记忆单元中（input gate）
当前记忆要忘掉多少（forget gate）
输出时读多少（output gate）

门的本质：一个取值在 0 和 1 之间的向量（一般用 sigmoid 生成），与要控制的向量逐元素相乘，从而决定"保留多少信息"。0 = 完全阻断，1 = 完全通过。

3.2 RNN vs LSTM 结构

RNN：repeating module 只有一个简单的 tanh 层（单层结构）。
LSTM：repeating module 有四个相互作用的层（3 个 sigmoid 门 + 1 个 tanh），并多了一条贯穿的 cell state 通道 $C_t$ 。

图 3-1　普通 RNN 的重复模块只有一个 tanh 层，状态被覆盖式更新。

图 3-2　LSTM 的重复模块含四个相互作用层（3 个 sigmoid 门 + 1 个 tanh），并多出一条贯穿的 cell state 通道 $C_t$ 。

3.3 如何理解 Memory / 如何控制

如何理解 memory： $C_t$ 提供了一条贯穿时间步的加法更新路径。遗忘门接近 1 时，信息和梯度更容易保留；是否能长期记住仍取决于门的取值与训练结果。

如何控制 Memory：四个步骤

步骤	作用
Forget	决定从旧 cell state $C_{t-1}$ 中丢弃多少
Input	决定把多少新信息写入
Update	用 forget 和 input 的结果更新 cell state
Output	决定从 cell state 中提取多少作为当前隐状态 $h_t$

3.4 三个门与状态更新公式

Forget gate（遗忘门）

f_t = \sigma\left(W_f\,[h_{t-1}, x_t] + b_f\right)

$f_t$ 控制旧 memory cell $C_{t-1}$ 中保留多少信息：接近 0 时丢弃，接近 1 时保留。
例：The cats that the boy likes ...
- 预测关系从句里的 likes 时，需要记住当前主语 boy 是单数；
- 之后预测主句动词时，又可能需要 cats 的复数信息；
- 因此不能简单理解为“遇到 boy 就把 cats 全部忘掉”：不同维度的记忆可以分别保留不同的信息。

Input gate（输入门）

i_t = \sigma\left(W_i\,[h_{t-1}, x_t] + b_i\right)

\tilde{C}_t = \tanh\left(W_C\,[h_{t-1}, x_t] + b_C\right)

$i_t$ ：控制多少新信息写入 memory cell；
$\tilde{C}_t$ ：新的候选信息（distilled information），例如关于 boy 的信息。

Update（更新 cell state）

C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

用遗忘门"打折"旧记忆，加上输入门"放行"的新记忆。
关键：这里是加法而非覆盖，梯度可以沿 $C_t$ 直接回流 → 缓解梯度消失。

Output gate（输出门）

o_t = \sigma\left(W_o\,[h_{t-1}, x_t] + b_o\right)

h_t = o_t \odot \tanh(C_t)

控制从 cell state 中“提炼”多少内容形成当前时刻的隐状态 $h_t$ 。

$[h_{t-1}, x_t]$ 表示把上一时刻隐状态与当前输入**拼接（concatenate）**成一个向量。

图 3-3　记忆单元内部：三条箭头分别对应 cell state 直通、上一隐状态 $h_{t-1}$ 、当前输入 $x_t$ ； $\sigma$ 与 $\tanh$ 并联构成各门。

3.5 参数数量

设

$\text{Hidden}_{dim}$ = memory 的维度（也是 $h_t$ 的维度）
$\text{Input}_{dim}$ = word embedding 的维度

\#\text{params} = 4 \times (\text{Hidden}_{dim} + \text{Input}_{dim}) \times \text{Hidden}_{dim} + 4 \times \text{Hidden}_{dim}

为什么是 4？因为有 4 组权重： $W_f, W_i, W_C, W_o$ ，且每组的维度相同（row, column）。
采用列向量约定时，每组权重的行数是输出维度 $\text{Hidden}_{dim}$ ；
列数是拼接输入长度 $\text{Hidden}_{dim} + \text{Input}_{dim}$ ；
最后 $4 \times \text{Hidden}_{dim}$ 是 4 组 bias 常数。

举例：Hidden = 256, Input = 300

4 \times (256+300)\times 256 + 4\times256 = 569{,}344 + 1{,}024 = 570{,}368

3.6 RNN / LSTM 的应用

应用	说明
Wikipedia Generator	训练语料规整，生成百科式文本
Code Generator	生成代码（结构性强，易评估）
语音识别	把声学特征序列映射为文本
Text Classification	用最后隐状态或池化作为文档表示
Sequence Labelling	POS、NER（每个位置输出一个标签）

3.7 变体

变体	要点
Peephole connections	允许门"看到" cell state（ $C_{t-1}$ 也参与门的计算）
GRU（Gated Recurrent Unit）	简化版：只有 2 个门（reset / update），没有独立 memory cell，参数更少、训练更快，效果常与 LSTM 相当
Multi-layer LSTM	堆叠多层，逐层抽象（但实践中不易堆太深）
Bidirectional LSTM	正向 + 反向两个 LSTM，拼接两方向隐状态 → 每个位置同时拥有左右上下文（不能用于自回归生成）

3.8 优缺点

Pros

有能力捕捉长距离上下文（相比朴素 RNN）；
和 FFNN 一样灵活：可用于分类、序列标注、生成等多种任务。

Cons

由于顺序处理，比 FF 网络慢（无法在时间维并行）；
实践中并不能很好地捕捉很长的依赖（生成长文本时尤其明显）；
实践中不易堆叠（multi-layer LSTM 收益有限、训练不稳）；
随着更先进架构（Transformer）出现，如今已不那么流行。

4. Transformer

4.1 定义

不像 RNN 那样逐位置传递一个循环状态，而是用 attention（注意力）直接建立位置之间的联系；
已知整段输入时，同一层各位置的表示可以并行计算；训练自回归语言模型时，也能利用 causal mask 同时计算多个位置的损失；
并行计算不等于各位置相互独立。自回归生成时，下一个 token 仍依赖已生成的前文，需要逐步解码；
这种结构缩短了远距离位置之间的信息路径，也更适合 GPU 上的矩阵运算。

4.2 动机：从 RNN 到 Attention

对于"输入文本 → 输出文本"类问题，原本用 RNN 顺序处理输入和当前输出；
Attention 最初是为了解决 RNN 的信息瓶颈（Bottleneck Problem）：RNN 必须把整句压进一个固定长度向量。Attention 允许每个输出节点与所有输入节点直接对比，挑出最相关的输入节点来决定自己的输出；
既然 Attention 可以直接访问全部输入，就不再需要顺序处理的 RNN 了；
于是诞生了 Transformer：其 Encoder 使用 Self-Attention 而非 RNN（论文 Attention Is All You Need, 2017）。

图 4-1　Transformer 整体架构（左 Encoder、右 Decoder，各堆叠 $N$ 层；底部为 Input/Output Embedding + Positional Encoding）。来源：Vaswani et al., Attention Is All You Need, NeurIPS 2017, Figure 1。

4.3 使用场景

任何"输入文本 → 输出文本"的任务：

Language Model：预测下一个词
Dialog System：给定用户输入，生成合适回复
Machine Translation：从一种语言翻译成另一种语言

本质都是"一段输入文本 → 另一段输出文本"，Transformer 非常适合。

4.4 Self-Attention：Query / Key / Value

直觉类比：

用目标词的 Query（查询）去和所有词的 Key（键）做相关性比较，再根据这些相关性，按比例参考对应的 Value（值）。

例子：句子 I made her duck，目标词 her

角色	内容
Query $q$	目标词 her 的查询向量
Key $k$ / Value $v$	上下文词（I, made, duck）以及目标词自身的键/值

图 4-2　Self-attention 的权重分配：目标词 her 的 Query 与各词 Key 比较后，按权重对 Value 加权求和得到 her 的新表示。

步骤

生成 Q/K/V：本节把每个词的 embedding $x_i$ 写成行向量，分别乘以三个投影矩阵 $W_Q, W_K, W_V$ ：

q_i = x_i W_Q,\qquad k_i = x_i W_K,\qquad v_i = x_i W_V

算相关性：目标词的 $q$ 与所有词的 $k$ 做点积（dot product），得到相关性分数；
归一化：对分数做 softmax，得到一个概率分布（权重和为 1）；
加权求和：用这个分布对所有 $v$ 加权求和，得到目标词的输出向量 $z$ ；
对所有输入词重复上述流程，得到各自的 $z$ ，按位置排列即为一个 attention head 的输出。

核心结论：目标词的最终表示 = 上下文词（含自身）value 向量的加权和，权重由 query–key 的相似度决定。

图 4-3　左：Scaled Dot-Product Attention（MatMul → Scale → Mask → Softmax → MatMul）；右：Multi-Head Attention（多组线性投影并行计算后 Concat 再线性变换）。来源：Vaswani et al., 2017, Figure 2。

4.5 公式

单个 query 形式

\text{SelfAttention}(q, K, V) = \sum_i \frac{\exp(q \cdot k_i)}{\sum_j \exp(q \cdot k_j)}\, v_i

矩阵形式（将各个 $q_i$ 、 $k_i$ 、 $v_i$ 分别按行堆叠为 $Q$ 、 $K$ 、 $V$ ）

\text{SelfAttention}(Q, K, V) = \text{softmax}(QK^\top)\,V

Scaled Dot-Product Attention（实际使用）

\text{SelfAttention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

为什么要除以 $\sqrt{d_k}$ ？ $d_k$ 是 key 向量的维度。点积的方差随维度增长，维数大时 softmax 的输入数值过大 → 分布极端（接近 one-hot）→ 梯度极小。除以 $\sqrt{d_k}$ 缩放使数值稳定（避免数值过大/梯度消失）。

图 4-4　逐词计算 Q/K/V：每个 embedding $x_i$ 分别乘 $W_Q, W_K, W_V$ ，再用目标词的 $q$ 与所有 $k$ 点积、softmax 得到权重。

4.6 Multi-Head Attention

动机：句子中不同词之间可以通过多种方式相互关联：

关系类型	例子
syntactically（句法）	主谓一致（noun–verb agreement）
semantically（语义）	同义词
discourse（篇章）	it 指代前文的 the dog

Multi-head attention 让模型能在不同的表示子空间中并行关注不同关系，因此：

独立地执行 attention 计算 $h$ 次（不同 head 有各自的 $W_Q^{(i)}, W_K^{(i)}, W_V^{(i)}$ ）；
把每个 head 的输出 $z^{(i)}$ concatenate 起来；
再乘输出投影矩阵 $W_O$ ，把拼接结果映射回模型维度 $d$ ，融合多头信息；
这个输出作为输入传入下一层。

\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W_O

\text{head}_i = \text{Attention}(QW_Q^{(i)}, KW_K^{(i)}, VW_V^{(i)})

多层 Transformer 会重复这些模块。原始 Transformer 在输入 embedding 上加入一次位置编码；其他位置编码方案的注入方式可能不同。

4.7 Transformer Block

以原始 Transformer 的 Encoder block 为例，除 self-attention 外还包含：

组件	数量	作用
Feedforward layer	1×	逐位置的两层 MLP（先升维再降维），提供非线性变换能力
Residual connection（残差连接）	2×	把输入与子层输出相加（ $x + f(x)$ ），保留信息和梯度的直接传播路径，便于训练深层网络
Normalisation layer（LayerNorm）	2×	对各位置的隐藏特征做归一化，并学习缩放和偏置，有助于稳定训练

注意：这里用的是 Layer Normalization，对每个位置自身的特征维归一化，不依赖一个 batch 中其他样本的统计量。下图采用原始 Transformer 的 Post-LN 顺序，其他变体也可能采用 Pre-LN。

图 4-5　Transformer Block 内部：Self-Attention 与 Feed Forward 两个子层，各自包一层残差连接 + LayerNorm。

4.8 堆叠（Stack Them Up）

堆更多 Transformer 模块 → 学习更深层次的词语表示；
GPT-3（175B）拥有 96 个 Transformer 模块。

4.9 位置信息问题

问题：不加入位置信息时，self-attention 本身无法区分词序。对输入作同样的置换，输出也只是随之置换，而不会凭空知道哪个词在前、哪个词在后；因此需要额外的位置表示来区分 dog bites man 与 man bites dog。

Positional Embeddings（可学习位置嵌入）

输入 embedding $X$ = word embeddings + position embeddings（两者相加）；
随机初始化位置向量，让模型自己学习；
做法：位置 1 一个 embedding、位置 2 一个……直到某个最大长度；
限制：位置查找表有预设长度，未训练过的位置缺少可靠的表示；要处理更长序列，通常需要额外的扩展办法。

Static Functions（正弦位置编码）

用一个静态函数把每个位置映射为固定向量，不学习：

PE_{(pos, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d}}\right), \qquad PE_{(pos, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d}}\right)

优点：任意位置都能按公式计算，相对位移有规律可循，且不增加可训练参数；不过“能计算更长位置”不等于模型一定能在更长序列上可靠泛化。
现代变体：RoPE（Rotary Position Embedding）、ALiBi（LLaMA 用 RoPE）。

4.10 Decoder-only 架构

自回归语言模型用 next-token prediction 建模文本，把已有前文作为输入；
没有单独的源序列编码器时，也就不需要 Encoder–Decoder 之间的 cross-attention；
只保留带 causal mask 的 self-attention、FFN 等模块，堆叠成 Decoder-only 架构，GPT 系列采用的就是这一思路。Encoder 和 Encoder–Decoder 结构仍适合各自的理解或序列转换任务。

5. 词向量：计数法

5.1 词向量（Word Vector Embedding）总览

编码词的上下文信息；
能捕捉各种语义关系（同义 synonymy、类比 analogy 等）；
来源之一：FFNN 中的 embedding layer 可以顺带训练出来；
本节比较两大类方法：
1. Count-based methods（计数法，本节）
2. 更高效的神经方法，专门为学习词向量设计（第 6 节）

5.2 文档作为上下文：向量空间模型（VSM）

核心思想：把词义表示为向量；
把文档当作词的上下文；
一个矩阵，两个视角：

视角	行/列	含义
文档视角	每行是一个文档	文档由它包含的词表示
词视角	每列是一个词	词由它出现的文档表示（列向量就是词向量）

词–文档矩阵示例（行 = 文档 id，列 = 词）

	state	fun
425	0	1
426	3	0
427	0	0

问题：直接用原始计数，高频词（the, of）会主导向量；且向量维度 = 文档数，非常稀疏、维度高。

5.3 TF-IDF

信息检索中的标准加权方案；
核心作用：惩罚常见词（discounts common words）。

Term Frequency（词频）

矩阵中每一列代表一个词，每一行代表一个文档；
最简单的 TF 就是计数 $tf_{t,d}$ （也可取 $\log(1+tf)$ 或归一化）。

Inverse Document Frequency（逆文档频率）

idf_w = \log \frac{\vert D\vert }{df_w}

$\vert D\vert$ = 文档总数
$df_w$ = 包含词 $w$ 的文档数
含义：通过"同一个词出现在多少个不同文档里"来惩罚 TF——出现在越多文档里，区分度越低，权重越小。

组合

\text{TF-IDF} = TF \times IDF

这里使用的是常规版本，实际还有带平滑的变体（如 $\log\frac{1+\vert D\vert }{1+df_w}+1$ ）；
工程实现：sklearn.feature_extraction.text.TfidfVectorizer()。

示例（tf 矩阵 → tf-idf 矩阵）

tf 矩阵（行 425/426/427，列 the/country/hell）：

	the	country	hell
425	43	5	1
426	24	1	0
427	37	0	3
$df$	500	14	7

这里展示的是完整语料中的三行文档；设总文档数 $\vert D\vert=500$ ，采用以 2 为底的对数，并把 country、hell 的 IDF 分别近似为 5.2、6.2 后再相乘。

→ the 出现在全部 500 篇文档里，因此 $idf=0$ ；而 hell 只出现在 7 篇中，权重相对升高。

	country	hell
425	26.0	6.2
426	5.2	0
427	0	18.6

5.4 降维（Dimensionality Reduction）

SVD（奇异值分解）

A = U \Sigma V^\top

为了按行取得词向量，这里把前面的文档–词矩阵转置； $A$ 是 $\vert V\vert \times \vert D\vert$ 的词–文档矩阵
$U$ ： $\vert V\vert \times m$ ，新的词矩阵（每行一个词的表示）
$\Sigma$ ： $m \times m$ 的奇异值对角阵（按重要性降序）
$V^\top$ ： $m \times \vert D\vert$ ，新的文档矩阵
$m = \text{Rank}(A)$

保留全部非零奇异值时，这是一种等价分解；实际降维和去噪通常依靠下面的截断版本。

Latent Semantic Analysis（LSA，潜在语义分析）

只保留最大的 $k$ 个奇异值及对应方向，用 $U_k$ 或 $U_k\Sigma_k$ 的各行作为 word vector；
是有损压缩：丢掉小的奇异值对应的维度（视为噪声/细节）；
依据：很多任务只需要词之间的少量关系就足够（ $k$ 常取 100–300）；
副产品：能捕捉"同义但不同词"的潜在语义（因为文档共现模式相似）。

完整的 TF-IDF 词向量流程

TEXT

tf-idf matrix  →  SVD  →  U  →  pick k  →  只保留前 k 维  →  word embedding  →  LSTM（或下游模型）

图 5-1　TF-IDF 矩阵做奇异值分解 $A=U\Sigma V^\top$ ，取 $U$ 的前 $k$ 列即得到 $k$ 维词向量（LSA）。

5.5 词作为上下文（Word as Context）

思路：根据词与词之间的关系，用同时出现的频率（co-occurrence）作为 context 来获取词义；
"具体多近才算 context"需要提前定义：常用窗口大小（如 ±2、±5）、是否按句、是否加权（越近权重越大）；
同样存在 common words 问题（the, of 与所有词都共现）→ 用 PMI 修正。

5.6 点互信息 PMI（Pointwise Mutual Information）

\text{PMI}(x, y) = \log_2 \frac{P(x, y)}{P(x)\,P(y)}

含义：实际共现概率相对于 "若两词独立则应有的共现概率" 的比值。

$\text{PMI} > 0$ ：共现多于偶然，正相关（相关词）
$\text{PMI} = 0$ ：这一词对的共现概率等于独立假设下的概率
$\text{PMI} < 0$ ：共现少于偶然，负相关（互补/排斥）

示例：计算 PMI(heaven, hell)

共现矩阵（窗口共现计数，节选）

	the	country	hell	Σ
state	1973	10	1	12786
fun	54	2	0	633
heaven	55	1	3	627
Σ	1047519	3817	780	15871304

$P(\text{heaven}) = 627 / 15871304$
$P(\text{hell}) = 780 / 15871304$
$P(\text{heaven}, \text{hell}) = 3 / 15871304$ （若该格计数为 3）

代回公式：

\text{PMI}(\text{heaven},\text{hell})=\log_2\frac{3\times15871304}{627\times780}\approx6.61

这里 heaven 与 hell 的计数为 3，所以 PMI 为正。下面表中 -inf 对应的是 fun 与 hell，其共现计数为 0：在边缘概率非零时， $P(x,y)=0 \Rightarrow \log 0=-\infty$ 。

PMI 矩阵（节选）

	the	country	hell
state	1.22	1.78	0.63
fun	0.37	3.79	-inf
heaven	0.41	2.80	6.61

5.7 PMI 的三个额外技巧

技巧	做法	原因
把 $-\infty$ 或负数替换为 0	$\text{PPMI} = \max(\text{PMI}, 0)$	保留高于独立假设的共现关系，减少低频负关联估计不可靠带来的影响
Normalised PMI（NPMI）	$\text{NPMI}(x,y) = \dfrac{\text{PMI}(x,y)}{-\log_2 P(x,y)}$	分子、分母使用同一对数底；对 $0<P(x,y)<1$ 归一化到 $[-1,1]$ ，便于跨词对比较
PMI 也可以做 SVD 化简	对 PMI 矩阵做 SVD 取前 $k$ 维	降维去噪，得到稠密低维词向量

补充：低频词对的 PMI 容易虚高，不能仅凭分数判断关联强弱。可以结合最低共现频次过滤或平滑来减少噪声。若采用 $\log\frac{P(x,y)^k}{P(x)P(y)}$ 这种 PMI $^k$ 变体， $k>1$ 才会比普通 PMI 更强地压低低共现概率的词对。

6. 词向量：神经法 Word2Vec

6.1 Word2Vec 概述

Neural based distributional semantic：用神经网络实现"分布语义学"（词义由上下文决定）。
核心思想：用上下文词预测目标词（或反过来）。
通过预测词的训练任务学习 embedding：CBOW 的输入是上下文，Skip-gram 的输入是中心词；输出是目标词的预测分布或词对分类结果，词向量是训练得到的参数。
两种具体实现（均出自 Mikolov et al., 2013）：

模型	方向	说明
Skip-gram	用目标词预测周围词	实践上更擅长低频词
CBOW（Continuous Bag of Words）	用周围词预测目标词	更快，且更擅长高频词

"surrounding words" 的范围（窗口 $L$ ）视情况而定，下面的示例取 $L=2$ 。

图 6-1　两种 Word2Vec 结构：CBOW（用上下文预测中心词）与 Skip-gram（用中心词预测上下文）。来源：Mikolov et al., 2013, Figure 1。

6.2 Skip-gram 模型

目标：最大化给定目标词时，其上下文中出现正确词的概率。

句子示例：... Bereft of life he rests in peace! If you hadn't nailed him ...，目标词 rests， $L=2$ 的上下文为 {he, in, life, peace}。

概率建模：上下文词的概率 = 以目标词为条件的联合概率：

P(\text{context} \mid w_t) = \prod_{i \in [-L, \dots, -1, 1, \dots, L]} P(w_{t+i} \mid w_t)

假设：给定中心词后，各上下文词按条件独立处理，因此可以写成连乘；这个基本版本不区分上下文词的先后次序。

6.3 用逻辑回归实现（softmax 形式）

P(w_O \mid w_I) = \frac{\exp(v'_{w_O}{}^\top v_{w_I})}{\sum_{w \in V} \exp(v'_{w}{}^\top v_{w_I})}

其中 $v$ 是输入（中心词）向量， $v'$ 是输出（上下文词）向量。

可以转化为一个神经网络：

TEXT

one-hot x (1×|V|)  →  W (|V|×d)  →  h (1×d)  →  C (d×|V|)  →  softmax  →  P(·|w_t)
                    输入 embedding          输出 embedding

6.4 Embedding 参数化：两个矩阵

关键细节：Word2Vec 有两套词向量矩阵：

$W$ （ $\vert V\vert \times d$ ）：target word embedding（中心词/输入 embedding）
$C$ （ $d \times \vert V\vert$ ）：context word embedding（上下文/输出 embedding）

训练完成后通常只保留 $W$ （或两者平均）作为最终词向量。

怎么选 $d$ ？把维度作为超参数，结合语料规模、下游任务和计算预算调优；100–300 维是常见的起点。

训练目的：输入任何一个单词，就能得到"每个词是它 context word 的概率"，并希望正确的 context word 概率最大。

问题：太慢——分母要对整个词表（ $\vert V\vert$ 可达百万）求和，每个训练样本都要遍历全部词。

6.5 优化：Negative Sampling（负采样）

把"预测 $P(\text{context} \mid \text{word})$ "转化为一个二分类问题：

把语料中实际观察到的中心词–上下文词对作为正样本；
从噪声分布抽取词，与中心词组成负样本；
训练一个二分类器，区分真实共现词对和采样词对。

为什么需要负采样？

核心目的是避免每个样本都计算全词表 softmax；
每个正样本只配少量负样本，不要求正负样本数量相等；
它把训练目标换成词对二分类，不再直接计算归一化的下一词概率。

最大似然估计

\max \ \sum_{(w,c)\in D} \log \sigma(u_c^\top v_w) + \sum_{(w,c)\in D'} \log \sigma(-u_c^\top v_w)

其中 $D$ 、 $D'$ 分别是正、负词对集合， $v_w$ 是输入向量， $u_c$ 是输出向量。

对正样本，最大化 $P(+\mid \text{word},\text{context})$ ；
对负样本，最大化 $P(-\mid \text{word},\text{context})$ ，也就是压低它被判为真实共现的概率。

对于 embedding 的直觉：经常共现的输入词与输出上下文向量倾向于有较大的点积；拥有相似上下文的词可能学到相近表示。点积也受向量长度影响，不能直接等同于余弦相似度。

6.6 Loss function

实践中对每个正样本取 $k$ 个负样本（常见 $k=5\sim20$ ，具体需按语料调节）。下面 $T$ 表示正样本词对数， $c_t$ 是中心词， $o_t$ 是观察到的上下文词：

J(\theta) = -\frac{1}{T}\sum_{t=1}^{T}\left[\log \sigma(u_{o_t}^\top v_{c_t}) + \sum_{i=1}^{k} \mathbb{E}_{w_i \sim P_n(w)}\log \sigma(-u_{w_i}^\top v_{c_t})\right]

负样本按**一元分布 $P_n(w)$ （通常是词频的 3/4 次方）**采样，既避免高频词垄断，又不会采到太多罕见词。

优点：

Unsupervised：不需要人工标注，任何语料都能用；
Efficient：负采样让每步计算量与词表无关，可扩展到十亿级语料。

7. 词向量评估

7.1 内在评估一：词相似度（Word Similarity）

问题：怎么知道单词的 embedding 做得好不好？

方法：用 cosine similarity 计算两个语义相似词（如 well & good）的向量余弦相似度，与人工打分的相似度做相关性比较（Spearman 相关）。

\cos(u, v) = \frac{u \cdot v}{\Vert u\Vert \,\Vert v\Vert }

为什么用余弦而不是欧氏距离？只看方向、不看长度，避免"高频词向量模长更大"带来的偏差。

7.2 内在评估二：词类比（Word Analogy）

方法：在 embedding 空间中做向量运算，看最近邻是否符合语义关系。

\text{king} - \text{man} + \text{woman} \approx \text{queen}

向量相加还可以示意语义组合，不过这不是标准的类比评测：

\text{breakfast} + \text{lunch} + \text{dinner} \approx \text{与 meal 相关的方向} \quad\text{（仅作语义组合的直观示例，不是恒等式）}

常用数据集：Google analogy set（含 semantic 与 syntactic 两类）。

7.3 外在评估：下游任务（Downstream Tasks）

方法：直接把 embedding 用到实际任务（分类、NER、翻译…）里，用任务性能反过来衡量 embedding 质量。

优点：真正反映"有没有用"；
缺点：慢、受下游模型影响大（换分类器结论可能变），无法定位是 embedding 的哪一维出了问题。

实践建议：内在评估快、便宜，用于快速迭代；最终结论必须看下游任务。