NLP 학습 노트 (2): 신경망과 단어 표현 - Bojin Li

멜버른 대학교에서 COMP90042 NLP를 공부하며 정리한 노트다. 이 글에서는 신경망과 단어 표현을 다룬다. FFNN, RNN, LSTM, Transformer부터 빈도 기반 단어 벡터, Word2Vec, 평가 방법까지 정리한다.

1. 순전파 신경망(FFNN)

1.1 딥러닝 기초

딥러닝은 머신러닝의 한 분야로, 주로 다층 신경망으로 데이터의 표현을 학습한다.
왜 deep이라고 할까? 여러 층을 쌓아 비선형 변환을 반복해서 적용하기 때문이다.
사람의 뇌가 작동하는 방식에서 영감을 받았다. 수많은 계산 단위로 구성되며, 이 단위를 뉴런(neuron)이라 부른다.

순전파 신경망(Feed-forward NN)

이 절에서 다루는 완전연결 순전파 신경망은 다층 퍼셉트론(MLP)이라고도 한다.
정보는 입력층 → 은닉층 → 출력층으로만 흐르며, 순환 연결이 없다. 시퀀스를 처리할 때는 보통 미리 고정 길이 입력으로 구성해야 한다.
각 화살표에는 가중치가 있어 중요도를 나타낸다.
일부 층에는 비선형 활성화 함수를 적용한다. 이것이 없으면 여러 층을 쌓아도 하나의 선형 변환과 같아진다.

그림 1-1　3층 순전파 신경망: Input layer → Hidden layer → Output layer. 각 화살표는 가중치다.

뉴런 하나: 다음 함수로 나타낸다. $h = f(x)$

입력 $x$ 로부터 계산할 스칼라: $h$
입력을 가중치 $w$ 로 스케일링한 뒤 편향을 더한다. 편향: $b$
비선형 함수를 적용한다(logistic sigmoid, tanh/쌍곡탄젠트, ReLU).
$w$ 와 $b$ 는 모델의 매개변수(parameters)다.

h = \tanh\!\left(\sum_j w_j x_j + b\right)

활성화 함수	수식	특징
Sigmoid	$\sigma(z)=\dfrac{1}{1+e^{-z}}$	출력이 (0,1)이므로 확률로 해석할 수 있다. 양 끝에서 포화되어 기울기 소실을 일으킨다
Tanh	$\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$	출력이 (-1,1)이고 0을 중심으로 한다. sigmoid보다 학습하기 쉽다
ReLU	$\max(0, z)$	계산이 빠르고 기울기 소실을 완화한다. 음수 영역에서는 죽은 뉴런이 될 수 있다

1.2 출력층

이진 분류(binary classification)

출력층에는 노드 하나면 충분하다.
sigmoid를 활성화 함수로 사용해 다음을 출력한다. $P(y=1\mid x)\in(0,1)$ .

다중 클래스 분류(multi-class classification)

출력층에는 클래스 수와 같은 수의 노드가 있다.
softmax로 각 노드의 출력을 합이 1인 확률분포로 바꾼다.

\text{softmax}(z_i) = \frac{\exp(z_i)}{\sum_j \exp(z_j)}

1.3 학습 방법

(a) 손실 함수

목표: 학습 데이터 전체의 확률을 최대화한다. 대상은 $L$ 이다:

L = \prod_{i=1}^{m} P(y_i \mid x_i)

동일하게, 최소화할 대상은 $-\log L$ (음의 로그우도/교차 엔트로피)다. 이를 기준으로 매개변수를 최적화한다.

-\log L = -\sum_{i} \log P(y_i \mid x_i)

log를 취하면 곱이 합으로 바뀌어 수치 언더플로를 줄일 수 있다. 음수를 취하면 손실을 최소화하는 방식으로 학습할 수 있다. 이 변환이 신경망의 목적함수를 볼록함수로 만드는 것은 아니다.

(b) 경사 하강법

역할: 손실 함수를 최소화하는 가중치를 찾는다.
갱신 규칙: $\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}$
TensorFlow/PyTorch는 자동 미분(autodiff)으로 기울기를 계산하므로 직접 미분식을 유도할 필요가 없다.
변형: SGD → 미니배치 → Momentum/RMSProp/Adam.

신경망은 매개변수가 매우 많아 과적합되기 쉽다(낮은 편향, 높은 분산).
따라서 신경망 학습에서는 규제가 중요하다.

방법	수식/처리	효과
L1-norm	$\lambda\sum\vert \theta\vert$	가중치를 희소하게 만든다(특징 선택)
L2-norm	$\lambda\sum\theta^2$	가중치의 크기를 제한한다. 일반적인 SGD에서는 가중치 감쇠와 대응한다
Dropout	학습 시 일부 뉴런의 출력을 무작위로 0으로 만든다	뉴런 사이의 공동 적응을 줄인다. 매개변수를 공유하는 여러 부분 네트워크를 근사적으로 결합한다고 해석할 수 있다

(d) Dropout

dropout rate = 0.1이면 dropout이 적용되는 각 출력은 10% 확률로 0이 된다.
어느 층에나 적용할 수 있지만, 실제로는 주로 은닉층에 적용한다.
추론 시에는 dropout을 끈다. 일반적인 inverted dropout은 학습 시 남겨 둔 출력을 유지 확률로 나누고, 추론 시에는 추가로 크기를 조정하지 않는다.

1.4 활용 1: 주제 분류

과제: 문서를 미리 정한 주제 집합(economy/politics/sport 등)으로 분류한다. 입력: bag-of-words.

학습

무작위로 초기화하는 매개변수: $W$ 와 $b$
순전파 계산:

\vec{x} = [0,2,3,0] \;\rightarrow\; \vec{h} = \tanh(W_2\vec{x} + \vec{b}_1) \;\rightarrow\; \vec{y} = \text{softmax}(W_3\vec{h})

출력 확률분포: $\vec{y} = [0.1, 0.6, 0.3]$ , 대응 클래스: $C_1, C_2, C_3$
정답 레이블이 $C_1$ 이라면: $L = -\log(0.1) \approx 2.303$

예측

테스트 입력: $\vec{x} = [1,3,5,0]$
순전파 결과: $\vec{y} = [0.2, 0.1, 0.7]$
예측 클래스 $= C_3$ (argmax 선택)

개선 방법

입력에 bag of bigrams를 추가해 국소적인 어순을 포착한다
전처리: 표제어 추출(lemmatise)과 불용어 제거
원시 빈도 대신 TF-IDF 또는 0/1 indicator를 사용한다(출현 여부만 기록)

1.5 활용 2: 단어 임베딩

정의: 이산적인 단어 기호를 저차원 연속 벡터 공간으로 대응시킨다.
역할: 모델이 단어 사이의 유사성(dog와 cat, walking과 running 등)을 포착할 수 있게 한다.
FFNN의 임베딩은 본질적으로 학습 가능한 조회 테이블이며, 행렬 $W_1$ 의 각 열이 단어 하나의 벡터다.

1.6 활용 3: FFNN 언어 모델

다음 확률을 예측한다. $P(w_i = \text{grass} \mid w_{i-3}=\text{a},\, w_{i-2}=\text{cow},\, w_{i-1}=\text{eats})$

처리 흐름:

a, cow, eats의 단어 임베딩을 조회한다( $W_1$ )
세 벡터를 이어 붙인다
네트워크에 입력한다. $\vec{h} = \tanh(W_2\vec{x} + \vec{b}_1)$ , $\vec{y} = \text{softmax}(W_3\vec{h})$
$\vec{y}$ 는 전체 어휘에 대한 확률분포를 출력한다

매개변수 수의 분포:

대부분의 매개변수는 입력 임베딩 $W_1$ (크기 $= d_1 \times \vert V\vert$ )
및 출력 임베딩 $W_3$ 에 있다(크기 $= \vert V\vert \times d_h$ 이며, $d_h$ 는 은닉층의 차원이다)

1.7 FFNN 언어 모델과 빈도 기반 N-gram

비교 항목	빈도 기반 N-gram	FFNN N-gram
학습 비용	매우 낮다(빈도만 세면 됨)	높다(경사 하강법 필요)
희소성	심각하다(관측하지 못한 n-gram의 확률은 0)	완화된다(비슷한 단어가 매개변수를 공유하여 관측하지 못한 조합으로 일반화)
긴 문맥	문맥이 길어지면 매개변수 수와 희소성 문제가 심해진다	비교적 원활하게 확장되지만 고정 윈도 제약은 남는다
단어의 특성	단어 사이의 문법적·의미적 유사성을 포착하지 못한다(film과 movie를 무관한 기호로 취급)	단어의 특성을 자동으로 포착해 더 견고하게 추정한다

2. 순환 신경망(RNN)

2.1 정의

임의 길이의 입력을 표현할 수 있다.
핵심은 점화식으로 시퀀스의 입력을 하나씩 처리하는 것이다.
이전에 처리한 문맥은 상태 벡터(state vector)로 표현한다.

s_i = f(s_{i-1}, x_i), \qquad s_{i+1} = f(s_i, x_{i+1})

동일한 상태 갱신 함수 $f$ 를 모든 시점에서 재사용한다.

2.2 노드

핵심 아이디어: 한 번에 단어 하나를 입력받아 이전 상태와 결합해 새 상태를 만든다. 문장 전체를 한 번에 입력하지 않는다.
각 노드의 입력은 단어 임베딩이며, 상태에는 위치와 순서 정보가 담긴다.
입력 시퀀스 $X$ 의 길이는 달라질 수 있다. 다만 각 입력 벡터 $x_i$ 의 차원과 상태 벡터 $s_i$ 의 차원은 모델에 따라 고정된다.

단순 RNN의 두 수식

s_i = \tanh(W_s s_{i-1} + W_x x_i + b)

y_i = \text{softmax}(W_y s_i)

$W_s$ : 상태에서 상태로 전달하는 가중치(기억을 전달하는 방식)
$W_x$ : 입력에서 상태로 전달하는 가중치
$W_y$ : 상태에서 출력으로 전달하는 가중치
$b$ : 편향

그림 2-1　RNN의 단일 노드: 새 상태 $s_i$ 는 이전 상태 $s_{i-1}$ 와 현재 입력 $x_i$ 에 따라 결정된다.

2.3 네트워크

모든 시점에서 같은 매개변수를 공유한다( $W_s, W_x, b, W_y$ ). 상태로 앞뒤 위치를 연결하므로 매개변수 수가 시퀀스 길이에 비례해 늘어나지는 않는다.

그림 2-2　시간축으로 펼친 RNN에서 모든 시점이 공유하는 매개변수: $W_s, W_x, W_y, b$ .

2.4 학습

한 번에 입력하는 것은 하나의 $x$ 이다(언어 모델에서는 단어 하나).
같은 단어도 시점이 다르면 출력이 달라진다. 출력은 $y$ 이며, 상태가 다르기 때문이다.
손실은 모든 위치에서 계산한 손실의 합이다.

L = L(y_1) + L(y_2) + L(y_3) + \dots = \sum_t L(y_t)

BPTT(시간 역전파)를 사용해 시간축으로 펼친 계산 그래프를 따라 역전파하여 공유 가중치, 편향, 학습 가능한 임베딩을 갱신한다.

2.5 학습 예: 언어 모델

예문: a cow eats grass

$x_i$ 는 현재 단어(예: eats)이며, 먼저 임베딩으로 변환한다
$s_{i-1}$ 는 이전 문맥(a, cow)의 정보를 담는다
$y_i$ 가 예측하는 다음 단어는 grass이다.

네트워크를 시간축으로 펼치면 다음과 같다.

TEXT

a      cow     eats     grass
↓       ↓       ↓        ↓
RNN →  RNN  →  RNN   →  RNN
s1      s2      s3       s4
                ↓
            y3 = P(·|a cow eats) → 정답 grass

수치 예(어휘 집합 {a, cow, eats, grass})

위치	입력	상태 $s$	출력 분포 $y$	정답	손실
1	a	$s_1$	[0.40, 0.30, 0.20, 0.10]	cow	$-\log(0.30)$
2	cow	$s_2$	[0.30, 0.20, 0.30, 0.20]	eats	$-\log(0.30)$
3	eats	$s_3$	[0.50, 0.10, 0.20, 0.20]	grass	$-\log(0.20)$

L_{\text{total}} = L_1 + L_2 + L_3

2.6 RNN의 문제

문제	설명
a) 학습과 디코딩의 불일치	학습에서는 teacher forcing으로 실제 이전 단어를 주지만, 추론에서는 자신의 예측을 입력하므로 분포가 달라진다(exposure bias)
b) 오류 전파와 원인 파악의 어려움	오류가 시점을 따라 전파되고 누적되며, 어느 단계에서 오류가 생겼는지 찾기 어렵다
c) 공허하고 일반적인 표현 생성	구체성이 부족하고, 무난하면서 빈도가 높은 표현을 생성하기 쉽다
d) 기울기 소실	시간축으로 역전파할 때 기울기가 지수적으로 감소해 장거리 의존성을 학습하지 못한다

2.7 기울기 소실

원인: 시간축으로 펼친 계산 그래프에서는 공유 가중치와 활성화 함수의 도함수가 포함된 각 단계의 야코비안을 연속으로 곱한다. 곱의 실효 증폭률이 작으면 기울기가 감소하고, 너무 크면 폭발할 수 있다.
영향: 먼 위치의 학습 신호가 전달되기 어려워 장거리 의존성을 배우기 힘들어진다. 유효 기억 길이는 모델, 매개변수, 과제에 따라 달라지므로 일정한 단계 수로 고정할 수 없다.
대책: 적절한 초기화, 게이트 구조(LSTM/GRU), 잔차 연결, 어텐션 메커니즘. 기울기 클리핑이 주로 억제하는 것은 기울기 폭발이며, 이미 소실된 기울기를 복구하는 방법은 아니다.

3. 장단기 메모리(LSTM)

3.1 정의와 동기

일반 RNN은 각 단계에서 이전 상태와 새 입력을 함께 비선형 변환하므로 이전 정보가 점차 사라질 수 있다.
LSTM은 추가로 메모리 셀(memory cell)을 유지한다. 게이트로 제어하는 덧셈 갱신으로 정보와 기울기가 시간축을 따라 더 쉽게 전달되게 한다.

기억은 게이트(gate)로 제어한다:

새 입력을 메모리 셀에 얼마나 쓸지 정한다(입력 게이트)
현재 기억을 얼마나 잊을지 정한다(망각 게이트)
출력할 때 얼마나 읽을지 정한다(출력 게이트)

게이트란: 0과 1 사이의 값을 갖는 벡터다. 보통 sigmoid로 만들며, 제어할 벡터와 원소별로 곱해 보존할 정보의 양을 결정한다. 0이면 완전히 차단하고, 1이면 그대로 통과시킨다.

3.2 RNN과 LSTM의 구조

RNN: 반복 모듈은 단순한 tanh층 하나로 구성된다.
LSTM: 반복 모듈에서는 4개의 층(sigmoid 게이트 3개와 tanh층 1개)이 상호작용한다. 셀 상태를 전달하는 경로도 있다. 셀 상태: $C_t$ .

그림 3-1　일반 RNN의 반복 모듈에는 하나의 tanh층만 있다. 상태를 덮어쓰는 방식으로 갱신한다.

그림 3-2　LSTM의 반복 모듈에서는 4개의 층(sigmoid 게이트 3개와 tanh층 1개)이 상호작용한다. 셀 상태를 전달하는 경로도 있다. 셀 상태: $C_t$ .

3.3 기억의 원리와 제어

기억의 원리: $C_t$ 는 시간축을 따라 덧셈으로 갱신하는 경로를 제공한다. 망각 게이트가 1에 가까우면 정보와 기울기를 보존하기 쉽다. 장기 기억이 가능한지는 게이트 값과 학습 결과에 달려 있다.

기억의 제어: 네 단계

단계	역할
망각	이전 셀 상태 $C_{t-1}$ 에서 버릴 양을 정한다
입력	새 정보를 얼마나 쓸지 정한다
갱신	망각 게이트와 입력 게이트의 결과로 셀 상태를 갱신한다
출력	셀 상태에서 읽어 낼 양을 정해 만드는 현재 은닉 상태: $h_t$

3.4 세 게이트와 상태 갱신식

망각 게이트(Forget gate)

f_t = \sigma\left(W_f\,[h_{t-1}, x_t] + b_f\right)

$f_t$ 는 이전 메모리 셀 $C_{t-1}$ 의 정보를 얼마나 보존할지 제어한다. 0에 가까우면 버리고 1에 가까우면 보존한다.
예: The cats that the boy likes ...
- 관계절의 likes를 예측할 때는 현재 주어인 boy가 단수라는 점을 기억해야 한다.
- 이후 주절의 동사를 예측할 때는 cats가 복수라는 정보가 다시 필요할 수 있다.
- 따라서 boy를 만나면 cats를 모두 잊는다고 단순하게 이해하면 안 된다. 기억의 서로 다른 차원이 각기 다른 정보를 보존할 수 있다.

입력 게이트(Input gate)

i_t = \sigma\left(W_i\,[h_{t-1}, x_t] + b_i\right)

\tilde{C}_t = \tanh\left(W_C\,[h_{t-1}, x_t] + b_C\right)

$i_t$ : 메모리 셀에 쓸 새 정보의 양을 제어한다.
$\tilde{C}_t$ : 새로운 후보 정보(distilled information). 예를 들어 boy에 관한 정보다.

셀 상태 갱신

C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

망각 게이트로 이전 기억을 줄이고, 입력 게이트가 통과시킨 새 기억을 더한다.
핵심은 덮어쓰기가 아닌 덧셈이라는 점이다. 기울기는 $C_t$ 를 따라 직접 역전파될 수 있어 기울기 소실이 완화된다.

출력 게이트(Output gate)

o_t = \sigma\left(W_o\,[h_{t-1}, x_t] + b_o\right)

h_t = o_t \odot \tanh(C_t)

셀 상태에서 읽어 낼 양을 제어하여 얻는 현재 시점의 은닉 상태: $h_t$ .

$[h_{t-1}, x_t]$ 는 이전 시점의 은닉 상태와 현재 입력을 하나의 벡터로 이어 붙인 것이다.

그림 3-3　메모리 셀 내부: 세 화살표는 셀 상태의 직통 경로, 이전 은닉 상태 $h_{t-1}$ , 현재 입력 $x_t$ 에 해당한다. $\sigma$ 와 $\tanh$ 를 병렬로 조합하여 각 게이트를 구성한다.

3.5 매개변수 수

다음과 같이 두자

$\text{Hidden}_{dim}$ = 메모리 차원( $h_t$ 의 차원이기도 함)
$\text{Input}_{dim}$ = 단어 임베딩의 차원

\#\text{params} = 4 \times (\text{Hidden}_{dim} + \text{Input}_{dim}) \times \text{Hidden}_{dim} + 4 \times \text{Hidden}_{dim}

왜 4일까? 가중치는 네 묶음이다: $W_f, W_i, W_C, W_o$ . 각 행렬의 크기(행 수, 열 수)는 같다.
열벡터 표기법에서 각 가중치 행렬의 행 수는 출력 차원 $\text{Hidden}_{dim}$ 이다.
열 수는 이어 붙인 입력의 길이 $\text{Hidden}_{dim} + \text{Input}_{dim}$ 이다.
마지막 $4 \times \text{Hidden}_{dim}$ 는 네 묶음의 편향 상수항이다.

예: Hidden = 256, Input = 300

4 \times (256+300)\times 256 + 4\times256 = 569{,}344 + 1{,}024 = 570{,}368

3.6 RNN/LSTM 활용

활용	설명
위키피디아식 글 생성	정제된 학습 말뭉치로 백과사전식 글을 생성한다
코드 생성	코드를 생성한다(구조가 명확하여 평가하기 쉬움)
음성 인식	음향 특징 시퀀스를 텍스트로 변환한다
텍스트 분류	마지막 은닉 상태나 풀링 결과를 문서 표현으로 사용한다
시퀀스 레이블링	POS, NER 등 각 위치에서 레이블 하나를 출력한다

3.7 변형

변형	핵심
핍홀 연결	게이트가 셀 상태를 참조할 수 있다( $C_{t-1}$ 도 게이트 계산에 사용)
GRU(Gated Recurrent Unit)	간소화한 구조로, 게이트가 2개(리셋/갱신)이며, 별도의 메모리 셀이 없다. 매개변수가 적고 학습이 빠르며, 성능은 LSTM과 비슷한 경우가 많다
다층 LSTM	여러 층을 쌓아 층별로 추상화한다. 다만 실제로는 너무 깊게 쌓기 어렵다
양방향 LSTM	정방향과 역방향 LSTM의 은닉 상태를 이어 붙인다. 각 위치에서 양쪽 문맥을 함께 쓰지만 자기회귀 생성에는 사용할 수 없다

3.8 장단점

장점

단순 RNN보다 장거리 문맥을 포착하는 능력이 있다.
FFNN처럼 유연하다. 분류, 시퀀스 레이블링, 생성 등 다양한 과제에 사용할 수 있다.

단점

순차 처리하므로 순전파 신경망보다 느리다(시간축으로 병렬화할 수 없음).
실제로는 매우 긴 의존성을 충분히 포착하지 못한다(긴 글을 생성할 때 특히 두드러짐).
실제로는 깊게 쌓기 어렵다(다층 LSTM의 효과가 제한적이고 학습이 불안정해지기 쉬움).
Transformer 등 더 발전한 구조가 등장하면서 예전만큼 널리 쓰이지 않는다.

4. Transformer

4.1 정의

RNN처럼 위치마다 순환 상태를 전달하지 않고 어텐션(attention)으로 위치 사이를 직접 연결한다.
전체 입력이 주어지면 같은 층의 각 위치 표현을 병렬로 계산할 수 있다. 자기회귀 언어 모델의 학습에서도 인과 마스크(causal mask)로 여러 위치의 손실을 동시에 계산할 수 있다.
병렬 계산이 각 위치의 독립성을 뜻하지는 않는다. 자기회귀 생성에서는 다음 토큰이 이미 생성한 문맥에 의존하므로 순차적으로 디코딩해야 한다.
이 구조는 먼 위치 사이의 정보 전달 경로를 줄이고 GPU의 행렬 연산에도 적합하다.

4.2 RNN에서 어텐션으로

입력 텍스트 → 출력 텍스트 형태의 문제에서는 원래 RNN이 순차적으로 입력과 생성 중인 출력을 처리했다.
어텐션은 처음에 RNN의 정보 병목을 해결하기 위해 도입되었다. RNN은 문장 전체를 고정 길이 벡터로 압축해야 하지만, 어텐션에서는 각 출력 노드가 모든 입력 노드와 직접 비교하여 가장 관련 있는 입력을 골라 출력을 정할 수 있다.
어텐션으로 모든 입력에 직접 접근할 수 있다면 순차 처리하는 RNN이 반드시 필요한 것은 아니다.
이렇게 Transformer가 등장했다. 인코더에서는 RNN 대신 자기 어텐션을 사용한다(논문 Attention Is All You Need, 2017).

그림 4-1　Transformer의 전체 구조. 왼쪽은 인코더, 오른쪽은 디코더이며 각각 $N$ 층을 쌓는다. 맨 아래는 입력/출력 임베딩과 위치 인코딩이다. 출처: Vaswani et al., Attention Is All You Need, NeurIPS 2017, Figure 1.

4.3 활용 분야

입력 텍스트 → 출력 텍스트 형태의 과제:

언어 모델: 다음 단어를 예측한다
대화 시스템: 사용자 입력에 적절한 답변을 생성한다
기계 번역: 한 언어를 다른 언어로 번역한다

모두 한 입력 텍스트로부터 다른 출력 텍스트를 만드는 과제이며, Transformer에 적합하다.

4.4 자기 어텐션: Query/Key/Value

직관적 설명:

대상 단어의 Query(쿼리)를 모든 단어의 Key(키)와 비교해 관련도를 구한다. 그 관련도에 따라 가중치를 부여하여 참조하는 대상은 해당 Value(값)이다.

예: 문장 I made her duck, 대상 단어 her

역할	내용
Query $q$	대상 단어 her의 쿼리 벡터
Key $k$ / Value $v$	문맥 단어(I, made, duck)와 대상 단어 자신의 키/값

그림 4-2　자기 어텐션의 가중치: 대상 단어 her의 Query를 각 단어의 Key와 비교한 뒤, Value의 가중합으로 her의 새 표현을 얻는다.

절차

Q/K/V 생성: 이 절에서는 각 단어 임베딩 $x_i$ 를 행벡터로 쓰고, 세 투영 행렬 $W_Q, W_K, W_V$ 를 각각 곱한다.

q_i = x_i W_Q,\qquad k_i = x_i W_K,\qquad v_i = x_i W_V

관련도 계산: 대상 단어의 $q$ 와 모든 단어의 $k$ 를 내적(dot product)하여 관련도 점수를 구한다.
정규화: 점수에 softmax를 적용해 확률분포를 얻는다(가중치의 합은 1).
가중합: 이 분포에 따라 모든 $v$ 의 가중합을 구해 대상 단어의 출력 벡터 $z$ 를 얻는다.
모든 입력 단어에 같은 과정을 반복한다. 각 $z$ 를 위치순으로 나열하면 하나의 어텐션 헤드 출력이 된다.

핵심: 대상 단어의 최종 표현은 자신을 포함한 문맥 단어의 Value 벡터를 가중합한 것이다. 가중치는 Query와 Key의 유사도로 정한다.

그림 4-3　왼쪽: Scaled Dot-Product Attention(MatMul → Scale → Mask → Softmax → MatMul). 오른쪽: Multi-Head Attention(여러 선형 투영을 병렬 계산하고 이어 붙인 뒤 선형 변환). 출처: Vaswani et al., 2017, Figure 2.

4.5 수식

단일 쿼리 형태

\text{SelfAttention}(q, K, V) = \sum_i \frac{\exp(q \cdot k_i)}{\sum_j \exp(q \cdot k_j)}\, v_i

행렬 형태(각 $q_i$ , $k_i$ , $v_i$ 를 각각 행으로 쌓은 행렬은 $Q$ , $K$ , $V$ )

\text{SelfAttention}(Q, K, V) = \text{softmax}(QK^\top)\,V

Scaled Dot-Product Attention(실제로 사용하는 형태)

\text{SelfAttention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

왜 $\sqrt{d_k}$ 로 나눌까? $d_k$ 는 Key 벡터의 차원이다. 내적의 분산은 차원에 따라 커진다. 고차원에서는 softmax 입력이 너무 커져 one-hot에 가까운 극단적인 분포와 매우 작은 기울기가 생기기 쉽다. 따라서 $\sqrt{d_k}$ 로 나누어 크기를 조정해 수치를 안정화한다(과도한 값과 기울기 소실 방지).

그림 4-4　단어별 Q/K/V 계산: 각 임베딩 $x_i$ 에 각각 $W_Q, W_K, W_V$ 를 곱한다. 이후 대상 단어의 $q$ 와 모든 $k$ 의 내적에 softmax를 적용해 가중치를 얻는다.

4.6 멀티헤드 어텐션

동기: 문장 안의 단어는 여러 방식으로 연결될 수 있다.

관계 유형	예
통사	주어와 동사의 일치(noun–verb agreement)
의미	동의어
담화	it이 가리키는 앞선 표현: the dog

멀티헤드 어텐션은 서로 다른 표현 부분공간에서 여러 관계에 병렬로 주의를 기울일 수 있게 한다. 이를 위해:

독립적으로 어텐션 계산을 $h$ 회 수행한다. 각 헤드는 자체 $W_Q^{(i)}, W_K^{(i)}, W_V^{(i)}$ 를 갖는다.
각 헤드의 출력 $z^{(i)}$ 를 이어 붙인다.
다시 출력 투영 행렬 $W_O$ 를 곱해 이어 붙인 결과를 모델 차원 $d$ 로 되돌리고 여러 헤드의 정보를 통합한다.
이 출력을 다음 층의 입력으로 사용한다.

\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W_O

\text{head}_i = \text{Attention}(QW_Q^{(i)}, KW_K^{(i)}, VW_V^{(i)})

다층 Transformer는 이 모듈들을 반복한다. 원래 Transformer는 입력 임베딩에 위치 인코딩을 한 번 더하지만, 다른 위치 표현 방식은 적용 방법이 다를 수 있다.

4.7 Transformer 블록

원래 Transformer의 인코더 블록을 예로 들면, 자기 어텐션 외에도 다음 요소가 들어간다.

구성 요소	수	역할
피드포워드층	1×	각 위치에 같은 2층 MLP를 적용한다. 차원을 늘렸다 줄이며 비선형 변환을 더한다
잔차 연결(Residual connection)	2×	입력과 하위층의 출력을 더한다( $x + f(x)$ ). 정보와 기울기의 직접 전달 경로를 유지하여 깊은 네트워크를 학습하기 쉽게 한다
층 정규화(LayerNorm)	2×	각 위치의 은닉 특징을 정규화하고 크기 조정과 편향도 학습하여 학습을 안정화한다

여기서 사용하는 것은 Layer Normalization이다. 각 위치 자체의 특징 차원에 걸쳐 정규화하며, 배치의 다른 샘플 통계에 의존하지 않는다. 아래 그림은 원래 Transformer의 Post-LN 순서이며, 변형 모델에서는 Pre-LN을 쓰기도 한다.

그림 4-5　Transformer 블록 내부. 자기 어텐션과 피드포워드의 두 하위층에 각각 잔차 연결과 LayerNorm을 결합한다.

4.8 블록 쌓기

Transformer 블록을 늘리면 더 깊은 단어 표현을 학습한다.
GPT-3(175B)에는 96개의 Transformer 블록이 있다.

4.9 위치 정보

문제: 위치 정보를 넣지 않으면 자기 어텐션 자체는 어순을 구별하지 못한다. 입력의 순서를 바꾸면 출력도 같은 방식으로 바뀔 뿐, 어느 단어가 앞뒤에 있는지 알 수 없다. 따라서 추가 위치 표현이 있어야 dog bites man과 man bites dog을 구별할 수 있다.

학습 가능한 위치 임베딩

입력 임베딩 $X$ = word embeddings + position embeddings(두 벡터를 더함).
위치 벡터를 무작위로 초기화하고 모델이 학습하게 한다.
위치 1에 하나, 위치 2에 하나처럼 정해진 최대 길이까지 임베딩을 둔다.
제약: 위치 조회 테이블에는 길이 제한이 있다. 학습하지 않은 위치에는 신뢰할 만한 표현이 없으므로 더 긴 시퀀스를 처리하려면 보통 별도의 확장 방법이 필요하다.

고정 함수: 사인파 위치 인코딩

고정 함수로 각 위치를 고정 벡터에 대응시킨다. 학습은 하지 않는다.

PE_{(pos, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d}}\right), \qquad PE_{(pos, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d}}\right)

장점: 어떤 위치든 수식으로 계산할 수 있고 상대적 변위에 규칙성이 있으며 학습 가능한 매개변수를 추가하지 않는다. 다만 더 먼 위치의 벡터를 계산할 수 있다고 해서 더 긴 시퀀스로 안정적으로 일반화한다는 보장은 없다.
새로운 방식: RoPE(Rotary Position Embedding), ALiBi(LLaMA는 RoPE 사용).

4.10 디코더 전용 구조

자기회귀 언어 모델은 next-token prediction으로 텍스트를 모델링하며 이전 문맥을 입력으로 사용한다.
별도의 입력 시퀀스 인코더가 없으면 인코더와 디코더 사이의 교차 어텐션도 필요하지 않다.
인과 마스크가 적용된 자기 어텐션과 FFN 등을 쌓은 것이 Decoder-only 구조다. GPT 계열도 이 방식을 따른다. 인코더 구조와 인코더·디코더 구조 역시 각각 이해 과제와 시퀀스 변환 과제에 적합하다.

5. 단어 벡터: 빈도 기반 방법

5.1 단어 벡터 개요

단어의 문맥 정보를 인코딩한다.
여러 의미 관계(동의 관계, 유추 등)를 포착할 수 있다.
단어 벡터를 얻는 한 방법으로 FFNN의 임베딩층을 다른 목적의 학습과 함께 학습할 수 있다.
여기서는 두 부류의 방법을 비교한다.
1. 빈도 기반 방법(이 절)
2. 더 효율적인 신경망 기반 방법. 단어 벡터 학습을 위해 설계되었다(6절).

5.2 문서를 문맥으로: 벡터 공간 모델(VSM)

핵심 아이디어: 단어의 의미를 벡터로 표현한다.
문서를 단어의 문맥으로 사용한다.
하나의 행렬을 두 관점에서 본다:

관점	행/열	의미
문서 관점	각 행이 문서 하나	문서를 그 안에 포함된 단어로 표현한다
단어 관점	각 열이 단어 하나	단어를 그 단어가 출현한 문서로 표현한다(열벡터가 단어 벡터가 됨)

단어·문서 행렬 예(행 = 문서 id, 열 = 단어)

	state	fun
425	0	1
426	3	0
427	0	0

문제: 원시 빈도를 그대로 쓰면 고빈도 단어(the, of)가 벡터를 지배한다. 벡터 차원은 문서 수와 같아 매우 희소하고 차원이 높다.

5.3 TF-IDF

정보 검색의 표준 가중치 방식이다.
주된 역할은 흔한 단어의 가중치를 낮추는 것이다.

단어 빈도(Term Frequency)

행렬의 각 열은 단어 하나를, 각 행은 문서 하나를 나타낸다.
가장 단순한 TF는 출현 횟수 $tf_{t,d}$ 이다. 대신 $\log(1+tf)$ 를 쓰거나 정규화할 수도 있다.

역문서 빈도(Inverse Document Frequency)

idf_w = \log \frac{\vert D\vert }{df_w}

$\vert D\vert$ = 전체 문서 수
$df_w$ = 단어 $w$ 를 포함한 문서 수
의미: 같은 단어가 출현하는 서로 다른 문서의 수를 이용해 TF의 가중치를 낮춘다. 많은 문서에 나올수록 구별력이 낮으므로 가중치도 작아진다.

결합

\text{TF-IDF} = TF \times IDF

여기서는 기본형을 사용한다. 평활화한 변형도 있다(예: $\log\frac{1+\vert D\vert }{1+df_w}+1$ ).
구현: sklearn.feature_extraction.text.TfidfVectorizer().

예: tf 행렬에서 tf-idf 행렬로

tf 행렬(행 425/426/427, 열 the/country/hell):

	the	country	hell
425	43	5	1
426	24	1	0
427	37	0	3
$df$	500	14	7

아래는 전체 말뭉치에서 가져온 문서 세 행이다. 전체 문서 수를 $\vert D\vert=500$ 으로 두고 밑이 2인 로그를 사용한다. country, hell의 IDF를 각각 5.2, 6.2로 근사한 뒤 TF와 곱한다.

→ the는 전체 500개 문서에 나오므로 $idf=0$ 이다. 반면 hell은 7개 문서에만 나와 상대적으로 가중치가 높아진다.

	country	hell
425	26.0	6.2
426	5.2	0
427	0	18.6

5.4 차원 축소

특잇값 분해(SVD)

A = U \Sigma V^\top

행별로 단어 벡터를 얻기 위해 앞의 문서·단어 행렬을 전치한다. $A$ 는 $\vert V\vert \times \vert D\vert$ 크기의 단어·문서 행렬이다.
$U$ : $\vert V\vert \times m$ , 새 단어 행렬(각 행이 단어 하나의 표현)
$\Sigma$ : $m \times m$ 크기의 특잇값 대각행렬(중요도 내림차순)
$V^\top$ : $m \times \vert D\vert$ 크기의 새 문서 행렬
$m = \text{Rank}(A)$

0이 아닌 특잇값을 모두 유지하면 동등한 분해다. 실제 차원 축소와 잡음 제거에는 보통 아래의 절단 형태를 쓴다.

잠재 의미 분석(LSA)

가장 큰 $k$ 개 특잇값과 해당 방향만 남기고 $U_k$ 또는 $U_k\Sigma_k$ 의 각 행을 단어 벡터로 쓴다.
이는 손실 압축이다. 작은 특잇값에 대응하는 차원은 잡음이나 세부 정보로 보고 버린다.
근거: 많은 과제에서 단어 사이의 소수 관계만으로 충분하다( $k$ 는 흔히 100–300 정도로 둔다).
부수 효과로, 같은 의미를 가진 서로 다른 단어 사이의 잠재적 의미 관계도 포착할 수 있다. 이는 문서 내 동시 출현 패턴이 비슷하기 때문이다.

TF-IDF에서 단어 벡터를 만드는 전체 흐름

TEXT

tf-idf matrix  →  SVD  →  U  →  pick k  →  상위 k개 차원만 유지  →  word embedding  →  LSTM(또는 후속 모델)

그림 5-1　TF-IDF 행렬의 특잇값 분해식 $A=U\Sigma V^\top$ 에서 $U$ 의 앞 $k$ 개 열을 취하면 $k$ 차원 단어 벡터를 얻는다(LSA).

5.5 단어를 문맥으로

아이디어: 단어 사이의 관계를 바탕으로 동시 출현 빈도를 문맥으로 삼아 단어의 의미를 얻는다.
어느 정도 가까워야 문맥에 포함할지 미리 정의해야 한다. 윈도 크기(±2, ±5 등), 문장 경계로 나눌지, 거리에 따라 가중치를 줄지 등을 정한다.
여기서도 고빈도 단어 문제가 생긴다(the, of는 모든 단어와 동시 출현). PMI로 보정한다.

5.6 점별 상호정보량(PMI)

\text{PMI}(x, y) = \log_2 \frac{P(x, y)}{P(x)\,P(y)}

의미: 실제 동시 출현 확률과 두 단어가 독립일 때 기대되는 동시 출현 확률의 비율.

$\text{PMI} > 0$ : 우연일 때보다 더 자주 함께 나타난다. 양의 연관을 가진 단어 쌍
$\text{PMI} = 0$ : 이 단어 쌍의 동시 출현 확률이 독립을 가정한 확률과 같다
$\text{PMI} < 0$ : 우연일 때보다 덜 자주 함께 나타난다. 음의 연관(함께 나타나기 어려운 관계)

예: PMI(heaven, hell) 계산

동시 출현 행렬 일부(윈도 안의 동시 출현 횟수)

	the	country	hell	Σ
state	1973	10	1	12786
fun	54	2	0	633
heaven	55	1	3	627
Σ	1047519	3817	780	15871304

$P(\text{heaven}) = 627 / 15871304$
$P(\text{hell}) = 780 / 15871304$
$P(\text{heaven}, \text{hell}) = 3 / 15871304$ (해당 셀의 빈도가 3인 경우)

수식에 대입하면:

\text{PMI}(\text{heaven},\text{hell})=\log_2\frac{3\times15871304}{627\times780}\approx6.61

여기서 heaven과 hell의 동시 출현 횟수는 3이므로 PMI는 양수다. 아래 표의 -inf에 해당하는 것은 fun과 hell이며, 동시 출현 횟수는 0이다. 주변 확률이 0이 아닐 때, $P(x,y)=0 \Rightarrow \log 0=-\infty$ .

PMI 행렬 일부

	the	country	hell
state	1.22	1.78	0.63
fun	0.37	3.79	-inf
heaven	0.41	2.80	6.61

5.7 PMI의 세 가지 보완 방법

방법	처리	이유
$-\infty$ 나 음수를 0으로 바꾼다	$\text{PPMI} = \max(\text{PMI}, 0)$	독립 가정보다 높은 동시 출현 관계를 남기고, 저빈도 음의 연관 추정이 불안정한 영향을 줄인다
정규화 PMI(NPMI)	$\text{NPMI}(x,y) = \dfrac{\text{PMI}(x,y)}{-\log_2 P(x,y)}$	분자와 분모의 로그 밑을 맞춘다. $0<P(x,y)<1$ 일 때 $[-1,1]$ 범위로 정규화하여 단어 쌍 사이를 비교하기 쉽게 한다
PMI에도 SVD 적용 가능	PMI 행렬에 SVD를 적용하여 앞 $k$ 개 차원을 쓴다	차원 축소와 잡음 제거로 밀집된 저차원 단어 벡터를 얻는다

보충: 저빈도 단어 쌍의 PMI는 과도하게 높아지기 쉽다. 점수만으로 연관의 강도를 판단해서는 안 된다. 최소 동시 출현 횟수로 걸러 내거나 평활화하여 잡음을 줄일 수 있다. $\log\frac{P(x,y)^k}{P(x)P(y)}$ 형태의 PMI $^k$ 변형에서는 $k>1$ 일 때만 일반 PMI보다 동시 출현 확률이 낮은 단어 쌍을 더 강하게 억제한다.

6. 단어 벡터: Word2Vec

6.1 Word2Vec 개요

신경망 기반 분포 의미론: 단어의 의미가 문맥에 따라 결정된다는 분포 의미론을 신경망으로 구현한다.
핵심 아이디어: 문맥 단어로 대상 단어를 예측하거나 그 반대로 예측한다.
단어를 예측하는 학습 과제로 임베딩을 배운다. CBOW의 입력은 문맥이고 Skip-gram의 입력은 중심 단어다. 출력은 예측 대상 단어의 분포 또는 단어 쌍의 분류 결과이며, 단어 벡터는 학습으로 얻은 매개변수다.
두 가지 방식이 있다(모두 Mikolov et al., 2013).

모델	방향	설명
Skip-gram	중심 단어로 주변 단어를 예측한다	실제로 저빈도 단어에 강하다
CBOW(Continuous Bag of Words)	주변 단어로 중심 단어를 예측한다	빠르고 고빈도 단어에 강하다

주변 단어의 범위(윈도 $L$ )는 설정에 따라 달라진다. 아래 예에서는 $L=2$ 로 둔다.

그림 6-1　Word2Vec의 두 구조. CBOW는 문맥으로 중심 단어를 예측하고, Skip-gram은 중심 단어로 문맥을 예측한다. 출처: Mikolov et al., 2013, Figure 1.

6.2 Skip-gram 모델

목표: 대상 단어가 주어졌을 때 그 문맥에 올바른 단어가 나타날 확률을 최대화한다.

예문: ... Bereft of life he rests in peace! If you hadn't nailed him ..., 대상 단어 rests, $L=2$ 일 때 문맥은 {he, in, life, peace}.

확률 모델: 전체 문맥의 확률은 대상 단어를 조건으로 한 결합확률이다:

P(\text{context} \mid w_t) = \prod_{i \in [-L, \dots, -1, 1, \dots, L]} P(w_{t+i} \mid w_t)

가정: 중심 단어가 주어지면 각 문맥 단어를 조건부 독립으로 취급하므로 확률을 곱으로 쓸 수 있다. 이 기본형에서는 문맥 단어의 순서를 구별하지 않는다.

6.3 로지스틱 회귀로 구현(softmax 형태)

P(w_O \mid w_I) = \frac{\exp(v'_{w_O}{}^\top v_{w_I})}{\sum_{w \in V} \exp(v'_{w}{}^\top v_{w_I})}

여기서 $v$ 는 입력 측(중심 단어) 벡터이고, $v'$ 는 출력 측(문맥 단어) 벡터다.

신경망으로 나타낼 수 있다:

TEXT

one-hot x (1×|V|)  →  W (|V|×d)  →  h (1×d)  →  C (d×|V|)  →  softmax  →  P(·|w_t)
                    입력 embedding          출력 embedding

6.4 두 임베딩 행렬

핵심: Word2Vec에는 두 묶음의 단어 벡터 행렬이 있다.

$W$ ( $\vert V\vert \times d$ ): 입력 임베딩(중심 단어)
$C$ ( $d \times \vert V\vert$ ): 출력 임베딩(문맥 단어)

학습이 끝나면 보통 남기는 행렬은 $W$ 뿐이다. 이를 최종 단어 벡터로 사용한다. 두 벡터를 평균하기도 한다.

차원 $d$ 선택: 차원은 하이퍼파라미터로 두고 말뭉치 크기, 후속 과제, 계산 예산에 따라 조정한다. 100–300차원이 흔한 출발점이다.

학습 목적: 단어가 입력되면 각 단어가 문맥 단어일 확률을 구하고, 올바른 문맥 단어의 확률을 최대화한다.

문제: 느리다. 분모에서 전체 어휘( $\vert V\vert$ 는 백만에 이를 수 있음)에 대해 합을 구하므로 학습 예마다 모든 단어를 훑어야 한다.

6.5 네거티브 샘플링

조건부 확률 $P(\text{context} \mid \text{word})$ 의 예측을 단어 쌍의 이진 분류로 바꾼다.

말뭉치에서 실제로 관측한 중심 단어·문맥 단어 쌍을 양성 표본으로 삼는다.
잡음 분포에서 단어를 뽑아 중심 단어와 묶은 쌍을 음성 표본으로 삼는다.
실제 동시 출현 쌍과 샘플링한 단어 쌍을 구별하는 이진 분류기를 학습한다.

왜 네거티브 샘플링이 필요할까?

주된 목적은 학습 예마다 전체 어휘의 softmax를 계산하는 일을 피하는 것이다.
양성 표본 하나에 소수의 음성 표본만 붙인다. 양성과 음성 표본 수가 같을 필요는 없다.
학습 목표를 단어 쌍의 이진 분류로 바꾸므로 정규화된 다음 단어 확률을 직접 계산하지 않게 된다.

최대우도 추정

\max \ \sum_{(w,c)\in D} \log \sigma(u_c^\top v_w) + \sum_{(w,c)\in D'} \log \sigma(-u_c^\top v_w)

여기서 $D$ , $D'$ 는 각각 양성과 음성 단어 쌍의 집합이며, $v_w$ 는 입력 벡터, $u_c$ 는 출력 벡터다.

양성 표본에서 최대화할 확률은 $P(+\mid \text{word},\text{context})$ 이다.
음성 표본에서 최대화할 확률은 $P(-\mid \text{word},\text{context})$ 이다. 즉, 실제 동시 출현으로 판정될 확률을 낮춘다.

임베딩의 직관: 자주 함께 나오는 입력 단어와 출력 측 문맥 벡터는 내적이 커지기 쉽다. 비슷한 문맥을 가진 단어는 비슷한 표현을 배울 수 있다. 다만 내적은 벡터 길이에도 영향을 받으므로 코사인 유사도와 동일시할 수 없다.

6.6 손실 함수

실제로는 양성 표본 하나당 $k$ 개의 음성 표본을 사용한다(일반적으로 $k=5\sim20$ 이지만 말뭉치에 따라 조정한다). 아래에서 $T$ 는 양성 단어 쌍의 수, $c_t$ 는 중심 단어, $o_t$ 는 관측된 문맥 단어다.

J(\theta) = -\frac{1}{T}\sum_{t=1}^{T}\left[\log \sigma(u_{o_t}^\top v_{c_t}) + \sum_{i=1}^{k} \mathbb{E}_{w_i \sim P_n(w)}\log \sigma(-u_{w_i}^\top v_{c_t})\right]

음성 표본은 유니그램 분포 $P_n(w)$ (보통 단어 빈도의 3/4제곱에 비례)에서 뽑는다. 고빈도 단어에 치우치거나 희귀 단어를 너무 많이 뽑지 않도록 한다.

장점:

비지도 학습: 수작업 레이블이 필요 없고 어떤 말뭉치에도 적용할 수 있다.
효율성: 네거티브 샘플링으로 단계당 계산량이 어휘 수에 의존하지 않아 십억 규모의 말뭉치로 확장할 수 있다.

7. 단어 벡터 평가

7.1 내재적 평가 1: 단어 유사도

질문: 단어 임베딩이 좋은지 어떻게 판단할까?

방법: 코사인 유사도로 의미가 비슷한 두 단어(예: well & good)의 벡터 유사도를 구하고, 사람이 평가한 유사도와의 상관을 비교한다(Spearman 순위 상관).

\cos(u, v) = \frac{u \cdot v}{\Vert u\Vert \,\Vert v\Vert }

왜 유클리드 거리 대신 코사인을 쓸까? 길이가 아닌 방향만 보기 때문이다. 고빈도 단어의 벡터 노름이 커지기 쉬워 생기는 편향을 피할 수 있다.

7.2 내재적 평가 2: 단어 유추

방법: 임베딩 공간에서 벡터 연산을 하고 최근접 단어가 의미 관계에 맞는지 확인한다.

\text{king} - \text{man} + \text{woman} \approx \text{queen}

벡터 덧셈으로 의미의 합성을 직관적으로 나타낼 수도 있다. 다만 표준 유추 평가는 아니다.

\text{breakfast} + \text{lunch} + \text{dinner} \approx \text{meal과 관련된 방향} \quad\text{(의미 합성을 직관적으로 보여 주는 예이며, 항등식이 아님)}

흔히 사용하는 데이터셋: Google analogy set(의미적 관계와 통사적 관계를 모두 포함).

7.3 외재적 평가: 후속 과제

방법: 임베딩을 분류, NER, 번역 등의 실제 과제에 사용하고 과제 성능으로 임베딩 품질을 평가한다.

장점: 실제로 유용한지를 반영한다.
단점: 느리고 후속 모델의 영향을 크게 받는다. 분류기를 바꾸면 결론이 달라질 수 있으며, 임베딩의 어느 차원에 문제가 있는지는 알 수 없다.

실무 지침: 내재적 평가는 빠르고 저렴하여 신속한 개선에 적합하다. 최종 결론은 후속 과제에서 확인해야 한다.