딥 러닝 자연어 처리를 학습을 위한 파워포인트. (Deep Learning for Natural Language Processing)
- 1. 이 문서는 파워포인트로 자연어 처리의 여러 기법들을
이해하기 위한 ‘이미지’들을 만들어놓은 파일입니다.
발표용 자료가 아니므로 설명이 거의 없습니다.
설명은 오른쪽 하단 링크에 있으며 피드백 환영합니다.
감사합니다.
링크 : https://wikidocs.net/book/2155
- 3. 𝛴𝑡 𝑉𝑡
𝑇
Full SVD
Truncated SVD
=
=
𝐴 𝑈 𝛴 𝑉 𝑇
𝐴′ 𝑈𝑡
잠재 의미 분석(LSA)는 텍스트의 잠재된 의미를 도출하기 위해
차원 축소를 실행하는데, 이때 사용하는 것이 Truncated SVD이다.
SVD(Singular Value Decomposition)
- 5. word apple banana apple dog dog
topic B B ??? A A
word cute book king apple apple
topic B B B B B
word apple banana apple dog dog
topic B B ??? A A
word cute book king apple apple
topic B B B B B
word apple banana apple dog dog
topic B B ??? A A
word cute book king apple apple
topic B B B B B
LDA 알고리즘은 모든 문서의 각 단어들에 대해서 루프를 돌리면서
토픽을 체크하고 업데이트합니다. 각 단어에 대해서 토픽은
아래의 두 가지 기준으로 할당됩니다.
1. How prevalent is that word across topics?
2. How prevalent are topics in the document?
1. How prevalent is that word across topics?
‘사과’라는 단어는 두 문서 전체에서 토픽 B의 약 절반을
차기합니다. 반면에, 토픽 A에서는 아무 지분도 차지하지
않습니다. 이 기준에 따르면 토픽 B에 할당될 가능성이 높
습니다.
2. How prevalent are topics in the document?
Doc 1에서 토픽 A와 토픽 B는 50:50 비율입니다.
이 기준에 따르면 ‘사과'라는 단어는 절반의 확률을
가집니다.
doc1
doc2
doc1
doc2
doc1
doc2
- 6. 코사인 유사도 : -1 코사인 유사도 : 0 코사인 유사도 : 1
코사인 유사도
링크 : https://wikidocs.net/24603
- 10. 룰 베이스로 이미지 인식과 같은 문제를 풀고자하면?
규칙을 일일히 나열하는 것만으로는 해결 불가능한 문제들이 있다.
(여기 고양이 사진은 현 PPT 공유자의 것이 아님.)
- 12. 𝑥1 𝑥2 𝑥3 𝑥4 … 𝑥 𝑛
𝑥1 𝑥2 𝑥3 𝑥4 … 𝑥 𝑛
𝑥1 𝑥2 𝑥3 𝑥4 … 𝑥 𝑛
𝑥1 𝑥2 𝑥3 𝑥4 … 𝑥 𝑛
… … … … … …
𝑥1 𝑥2 𝑥3 𝑥4 … 𝑥 𝑛
Sample-1
Sample-2
Sample-3
Sample-4
…
Sample-m
Feature-1
Feature-2
Feature-3
Feature-4
…
Feature-n
머신 러닝 데이터셋에서 샘플(sample)과 특성(feature)의 개념 이해하기
- 13. 배포수집
점검 및
탐색
머신 러닝 워크플로우
전처리 및
정제
모델링 및
훈련
평가
테스트
데이터
전체 데이터(Original Data)
훈련(Training)
테스트
(Testing)
테스트
(Testing)
훈련(Training)
검증
(Validation)
훈련 데이터와 검증 데이터의 분할
- 14. 선형 회귀와 경사 하강법
링크 : https://wikidocs.net/21670
- 20. 소프트맥스 회귀
(다중 클래스 분류)
-특성이 4개, 클래스가 3개
- iris data set으로 이해하기
링크 : https://wikidocs.net/35476
- 25. 1 bias
𝑦1
𝑦2
…
𝑦 𝑚
…
𝑥1
𝑥2
𝑥3
𝑥 𝑛
현재 다룬 소프트맥스 회귀는
사실 얕은 인공 신경망으로도 볼 수 있다.
Softmax
𝑧1
SepalWidthCm
PetalLegnthCm
PetalWidthCm
0.26
0.71
0.04
𝑥1
𝑥2
𝑥3
𝑥4
예측값 실제값
0
1
0
setosa의 원-핫 벡터
오차로부터 가중치와 편향 업데이트
bias
SepalLengthCm
- 26. softmax
( )× =
예측값 𝑡
c × 1
𝑥1𝑊𝑥
+
𝑏
c × 1f × 1c × f
소프트맥스 회귀를 벡터와 행렬 연산으로 표현하면?
f : 특성(feature)의 수
c : 클래스(class)의 수
- 30. 𝒙 𝟏
𝒙 𝟐
(0,1)(0,0)
(1,0) (1,1)
OR GATE
𝒙 𝟏
𝒙 𝟐
(0,1)(0,0)
(1,0) (1,1)
NAND GATE
𝒙 𝟏 𝒙 𝟐 𝒚
0 0 0
0 1 1
1 0 1
1 1 1
𝒙 𝟏 𝒙 𝟐 𝒚
0 0 1
0 1 1
1 0 1
1 1 0
퍼셉트론으로 OR 게이트와 NAND 게이트를 구현할 수 있다.
- 31. 𝒙 𝟏 𝒙 𝟐 𝒚
0 0 0
0 1 0
1 0 0
1 1 1
𝒙 𝟏
𝒙 𝟐
(0,1)(0,0)
(1,0) (1,1)
AND GATE
𝒙 𝟏 𝒙 𝟐 𝒚
0 0 0
0 1 1
1 0 1
1 1 0
𝒙 𝟏
𝒙 𝟐
(0,1)(0,0)
(1,0) (1,1)
?
XOR GATE
퍼셉트론으로 AND 게이트를 구현할 수 있지만 XOR 게이트는?
- 35. …
…
…
1 bias 1 bias 1 bias
은닉층(hidden layer) 출력층(output layer)입력층(input layer)
은닉층을 좀 더 추가하면
신경망이 깊어진다.
bias 추가한 그림.
- 38. 𝑥2
𝑊2
입력층(input layer) 출력층(output layer)
𝑥1
𝑥3
𝑊1
𝑊3
𝑦1
입력층(input layer) 은닉층(hidden layer)
y1
𝑥4
y1
𝑠3
𝑠1
𝑠2
𝑠4
y1
y1
𝑠7
𝑠5
𝑠6
𝑠8
𝑦1
출력층(output layer)
𝑥2
𝑥1
𝑥3
단층 퍼셉트론
다층 퍼셉트론
은닉층이 2개 미만인 신경망은
얕은 신경망(Shallow Neural Network)
- 40. 순방향 신경망(Feed-Forward Neural Network)
(또는 피드 포워드 신경망이라고도 한다.)
순환 신경망(Recurrent Neural Network)
Vs.
RNN(순환 신경망)은 은닉층에 사이클이 존재하는 신경망이라는 점에서
앞서 본 신경망들과 다르다.
- 41. 순환 신경망(Recurrent Neural Network)의 표현 방법
time step 1 time step 2
=
𝑥 𝑡
𝑦𝑡 unit 또는 뉴런이라는 단위
셀이라는 단위
벡터라는 단위
RNN의 셀을 다층 퍼셉트론의 뉴런과 동일한 단위로 이해하면
그때부터 RNN에 대한 무한 혼란이 일어난다.
RNN에 대한 여러 그림은 뒤에 RNN 챕터에서 확인하자.
- 43. 200
200
200
200
200
200
200
200
200
200
Total data : 2,000
Batch size : 200
Iteration : 10
+ 1 epoch
Epoch와 batch size와 iteration의 관계
𝑋 𝑚 x 𝑛 × 𝑊? x ? + 𝐵? x ? = 𝑌 𝑚 x 𝑗
𝑋 𝑚 x 𝑛 × 𝑊𝑛 x ? + 𝐵 𝑚 x 𝑗 = 𝑌 𝑚 x 𝑗
같아야 한다
𝑋 𝑚 x 𝑛 × 𝑊? x ? + 𝐵 𝑚 x 𝑗 = 𝑌 𝑚 x 𝑗
같아야 한다
𝑋 𝑚 x 𝑛 × 𝑊𝑛 x 𝑗 + 𝐵 𝑚 x 𝑗 = 𝑌 𝑚 x 𝑗
같아야 한다
인공 신경망의 가중치 행렬과 편향 행렬의 크기 계산
- 47. 실제 계산 예제로 이해하는 역전파
설명 : https://wikidocs.net/37406
- 51. Word Representation
Local Representation Continuous Representation
Count BasedOne-hot Vector
Bag of Words
(DTM, TF-IDF)
N-gram Count BasedPrediction Based
Full Document
LSA, LDA
Windows
GloVe
Word2Vec
(FastText)
- 52. NNLM
(Neural Network Language Model)
N-gram 언어 모델의 sparsity problem을 해결하기 위해
인공 신경망 언어 모델 NNLM이 제안되다.
이 NNLM은 향후 Word2Vec으로 발전한다.
링크 : https://wikidocs.net/45609
인공 신경망 언어 모델의 등장!
- 53. n개의 이전 단어 예측 단어
[1, 0, 0, 0, 0, 0, 0], [0, 1, 0, 0, 0, 0, 0],
[0, 0, 1, 0, 0, 0, 0], [0, 0, 0, 1, 0, 0, 0].
[0, 0, 0, 0, 1, 0, 0]
[0, 1, 0, 0, 0, 0, 0], [0, 0, 1, 0, 0, 0, 0]
[0, 0, 0, 1, 0, 0, 0], [0, 0, 0, 0, 1, 0, 0]
[0, 0, 0, 0, 0, 1, 0]
[0, 0, 1, 0, 0, 0, 0] [0, 0, 0, 1, 0, 0, 0],
[0, 0, 0, 0, 1, 0, 0], [0, 0, 0, 0, 0, 1, 0].
[0, 0, 0, 0, 0, 0, 1]
what will the fat cat sit on
what will the fat cat sit on
what will the fat cat sit on
예측할 다음 단어
이전 단어
window size=4. 앞의 단어 4개만을 참고
결과적으로 앞의 n개의 단어를 참고하는 셈이다.
- 55. Input layer
우선 Projection layer 단계에서는
각 원-핫 벡터는 테이블 룩업을 진행한다.
will(one-hot vector)
the(one-hot vector)
fat(one-hot vector)
cat(one-hot vector)
- 56. 0.5 2.1 1.9 1.5 0.8
0.8 1.2 2.8 1.8 2.1
0.1 0.8 1.2 0.9 0.7
2.1 1.8 1.5 1.7 2.70 0 0 1 0 0 0 × = 2.1 1.8 1.5 1.7 2.7
lookup table
𝑥𝑓𝑎𝑡 × 𝑊𝑉× 𝑀 = 𝑒𝑓𝑎𝑡
테이블 룩-업이란?
V가 vocabular의 크기, M을 embedding vecto의 차원이면
원-핫 벡터가 V x M 행렬을 곱해서 더 작은 차원의 벡터가 된다.
- 61. 중심 단어 주변 단어
[1, 0, 0, 0, 0, 0, 0] [0, 1, 0, 0, 0, 0, 0], [0, 0, 1, 0, 0, 0, 0]
[0, 1, 0, 0, 0, 0, 0]
[1, 0, 0, 0, 0, 0, 0], [0, 0, 1, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0, 0]
[0, 0, 1, 0, 0, 0, 0]
[1, 0, 0, 0, 0, 0, 0], [0, 1, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0, 0], [0, 0, 0, 0, 1, 0, 0]
[0, 0, 0, 1, 0, 0, 0]
[0, 1, 0, 0, 0, 0, 0], [0, 0, 1, 0, 0, 0, 0],
[0, 0, 0, 0, 1, 0, 0], [0, 0, 0, 0, 0, 1, 0]
[0, 0, 0, 0, 1, 0, 0]
[0, 0, 1, 0, 0, 0, 0], [0, 0, 0, 1, 0, 0, 0],
[0, 0, 0, 0, 0, 1, 0], [0, 0, 0, 0, 0, 0, 1]
[0, 0, 0, 0, 0, 1, 0]
[0, 0, 0, 1, 0, 0, 0], [0, 0, 0, 0, 1, 0, 0],
[0, 0, 0, 0, 0, 0, 1]
[0, 0, 0, 0, 0, 0, 1] [0, 0, 0, 0, 1, 0, 0], [0, 0, 0, 0, 0, 1, 0]
The fat cat sat on the mat
The fat cat sat on the mat
The fat cat sat on the mat
The fat cat sat on the mat
The fat cat sat on the mat
The fat cat sat on the mat
The fat cat sat on the mat
중심 단어
주변 단어
window size=2. 좌, 우 단어 2개씩을 참고.
- 62. fat(one-hot vector)
cat(one-hot vector)
on(one-hot vector)
the(one-hot vector)
sat(one-hot vector)
Output layer
Projection layer
Input layer
Word2Vec은 총 3개의 layer로 구성된다.
가운데 층을 hidden layer라고 하는 그림도 있지만
중요한 건 은닉층에 활성화 함수가 없다는 것이다.
이를 일반적인 은닉층과 구분하기 위해
projection layer라고도 부른다.
- 64. 0.5 2.1 1.9 1.5 0.8
0.8 1.2 2.8 1.8 2.1
2.1 1.8 1.5 1.7 2.7
0 0 1 0 0 0 0 × = 2.1 1.8 1.5 1.7 2.7
lookup table
𝒙 𝒄𝒂𝒕
× 𝑾 𝑽× 𝑴 = 𝑽 𝒄𝒂𝒕
cat(one-hot vector)
on(one-hot vector)
sat(one-hot vector)
0
0
0
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
0
0
0
𝑊′ 𝑀× 𝑉
M
- 71. 0.5 2.1 1.9 1.5
0.8 1.2 2.8 1.8
0.1 0.8 1.2 0.9
2.1 1.8 1.5 1.7
…
1.2 0.7 0.5 2.1
0.1 0.5 0.4 0.1
Word → Integer → lookup table → embedding vector
케라스의 embedding layer는 각 단어를 정수로 인코딩하고
이를 바탕으로 embedding layer를 사용하여 임베딩 벡터를 만든다.
본질적으로 lookup table이다.
위 embedding table은 모델의 학습 과정에서 값이 학습된다.
멋있어 1
최고야 2
짱이야 3
감탄이다 4
… …
최상의 14
퀄리티 15
['멋있어 최고야 짱이야 감탄이다', '헛소리 지껄이네', '닥쳐 자식아', '우와 대단하다', '우수한 성적', '형편없다', '
최상의 퀄리티']
를 정수로 인코딩하면
[[1, 2, 3, 4], [5, 6], [7, 8], [9, 10], [11, 12], [13], [14, 15]]
이제 여기에 embedding layer를 사용하면
0.5 2.1 1.9 1.5
단어 ‘멋있어’의
임베딩 벡터
훈련 과정에서 학습된다.
- 73. …
=
𝑥 𝑡 𝑦𝑡Cell
𝑥 𝑡 𝑥1 𝑥2 𝑥3 𝑥 𝑡
𝑦𝑡 𝑦1 𝑦2 𝑦3 𝑦𝑡
아래의 RNN은 기본적으로 입, 출력이 벡터로 가정되고 있다.
- 78. tanh
( )× =
ℎ 𝑡
𝐷ℎ× 1
𝑥𝑡𝑊𝑥
×
𝑊ℎ ℎ 𝑡−1
+ +
𝑏
𝐷ℎ× 1 𝐷ℎ× 1d × 1𝐷ℎ× d𝐷ℎ× 𝐷ℎ
RNN을 벡터와 행렬 연산으로 표현하면?
d : t time-step의 단어의 차원
𝐷ℎ : hidden size의 크기
- 80. 𝑦1 𝑦2 𝑦3 𝑦4
𝑥1 𝑥2 𝑥3 𝑥4
양방향 RNN. 출력을 결정할 때마다
앞의 단어들만 보지말고 뒤의 단어들도 보자.
- 83. No. of samples
= batch_size
input_length
= timeseries
= timesteps
input_dim
= Dimensionality of word representation
RNN의 입출력 이해를 위해서는 3D 텐서를 이해해야한다.
- 84. 11 0 5
82 99 -8
3 4 78
1 43 28
51
7
32
-2
99
0
31
83
5
11
11 0 5
82 99 -8
3 4 78
1 43 28
11 0 5
82 99 -8
3 4 78
1 43 28
11 0 5
82 99 -8
3 4 78
1 43 28
SCALAR
VECTOR
MATRIX
3D TENSOR/CUBE
4D TENSOR
VECTOR OF CUBES
5D TENSOR
MATRIX OF CUBES
다양한 텐서
- 85. 𝑦𝑡
𝑤 𝑦
𝑤 𝑥
𝑥 𝑡
𝑤ℎ
ℎ 𝑡ℎ 𝑡−1
ℎ 𝑡
𝑤 𝑥
𝑥 𝑡
𝑤ℎ
ℎ 𝑡−1
ℎ 𝑡−1
출력층을 포함한 그림 입력층과 은닉층만을 표현한 그림
인터넷에는 두 종류의 RNN 그림이 있다.
두 그림의 차이를 이해하자.
- 86. 𝑥1 𝑥2 𝑥3
ℎ1 ℎ2 ℎ3
𝑥1 𝑥2 𝑥3
ℎ3
다음층으로 마지막 은닉 상태만 전달 다음층으로 모든 은닉 상태 전달
return_sequences=True
- 87. 𝑥1 𝑥2 𝑥3
𝑦1 𝑦2 𝑦3
BPTT(Backpropagation Through Time)
𝐿3𝐿2𝐿1
ℎ1 ℎ2 ℎ3
- 89. 𝑥1 𝑥2 𝑥3 𝑥4
𝑦1 𝑦2 𝑦3 𝑦4
what will the fat
will the fat cat
다음 단어 예측 Task.
언어 모델링이라고도 부른다.
예측된 단어는 다음 time step의
입력이 된다.
…
- 90. ‘cat’의 원-핫 벡터
t=1 t=2 t=3 t=4
softmax
실제값 0 0 0 0 1 0 0
예측값 0.1 0.05 0.05 0.1 0.7 0.03 0.07
cross-entropy
embedding
Dense
what will the fat
소프트맥스 함수를 인공 신경망의
출력층으로 사용하는 경우
다음과 같이 표현하기도 한다.
Dense + softmax
Fully connected N units + softmax
FFNN + softmax
여기서는 첫번째 표기를 사용한다.
embedding embeddingembedding
- 91. fat(one-hot vector) cat(one-hot vector)
Embedding layer
(linear)
Hidden layer
(nonlinear)
Output layerInput layer
RNNLM은 총 4개의 layer로 구성된다.
time step=4일 경우
- 92. 𝑾′ 𝑴× 𝑽× 𝒗 = 𝒛
𝒚 = 𝒔𝒐𝒇𝒕𝒎𝒂𝒙(𝒛)
0
0
0
0
1
0
0
0.1
0.05
0.05
0.1
0.7
0.03
0.07
cross entropy
Output layer
V
𝑦𝑡𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑𝑥 𝑡𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑
lookup table
0
0
0
1
0
0
0
Input layer Embedding layer
(linear)
𝑒𝑡𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑
ℎ 𝑡−1𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑
RNN
Cell
ℎ 𝑡
Hidden layer
(nonlinear) 𝑦𝑡
앞의 그림을 좀 더 자세히 보자!
- 93. 0.5 2.1 1.9 1.5 0.8
0.8 1.2 2.8 1.8 2.1
0.1 0.8 1.2 0.9 0.7
2.1 1.8 1.5 1.7 2.70 0 0 1 0 0 0 × = 2.1 1.8 1.5 1.7 2.7
lookup table
𝑥𝑡 × 𝑊𝑉× 𝑀 = 𝑒𝑡
테이블 룩-업이란?
V가 vocabular의 크기, M을 embedding vecto의 차원이면
원-핫 벡터가 V x M 행렬을 곱해서 더 작은 차원의 벡터가 된다.
- 94. 𝑦1 𝑦2 𝑦3 𝑦4
𝑥1 𝑥2 𝑥3 𝑥4
주의할 점!
양방향 RNN으로는 RNNLM을 만들 수 없다.
RNNLM은 이전 단어로부터 다음 단어를 예측하는데
양방향 RNN은 이미 다음 단어를 컨닝하고 있다.
언어 모델에서 양방향으로 참고할 수 있게 하려면?
이것이 BERT에서 나오는 Masked Language Model
- 95. Char RNN
링크 : https://wikidocs.net/48649
RNN의 입력 단위를 글자로 했을 때,
다대일 RNN과 RNN 언어 모델을 구현해보자.
- 98. …
𝑥1 𝑥2 𝑥3 𝑥 𝑡
𝑦1 𝑦2 𝑦3 𝑦𝑡
바닐라 RNN의 고질적인 문제인 장기 의존성 문제를 보여준다.
(뒤로 갈수록 앞의 정보가 소실된다.)
이를 보완하여 LSTM이 탄생한다.
- 99. 𝑊ℎ
𝑦𝑡
ℎ 𝑡
𝑊𝑥
𝑊𝑦
tan h
ℎ 𝑡 𝑊ℎ
𝑥𝑡
ℎ 𝑡−1
𝑊ℎℎ 𝑡−1
𝑊𝑥
𝑦𝑡
𝐶𝑡−1
σ σ
tan h
tan hσ
ℎ 𝑡
𝑊ℎ
𝑊𝑥
𝑦𝑡−1
𝑊𝑦𝑊𝑦
ℎ 𝑡−1
𝑥𝑡−1 𝑥𝑡
ℎ 𝑡 𝐶𝑡
바닐라 RNN의 색을 초록색
LSTM의 색을 주황색으로 표현하였다.
- 100. 𝑦𝑡
σ σ
tan h
tan hσ
ℎ 𝑡
𝑊𝑦
𝑥𝑡
ℎ 𝑡 𝐶𝑡
기본 LSTM 그림
ℎ 𝑡−1
𝐶𝑡−1
𝑖 𝑡=𝜎(𝑊𝑥𝑖 𝑥𝑡+𝑊ℎ𝑖ℎ 𝑡−1+𝑏𝑖)
𝑔𝑡=𝑡𝑎𝑛ℎ(𝑊𝑥𝑔 𝑥𝑡+𝑊ℎ𝑔ℎ 𝑡−1+𝑏 𝑔)
𝑓𝑡=𝜎(𝑊𝑥𝑓 𝑥𝑡+𝑊ℎ𝑓ℎ 𝑡−1+𝑏𝑓)
𝑐𝑡=𝑓𝑡 𝑐𝑡−1+𝑖 𝑡 𝑔𝑡
𝑜𝑡=𝜎(𝑊𝑥𝑜 𝑥𝑡+𝑊ℎ𝑜ℎ 𝑡−1+𝑏 𝑜)
ℎ 𝑡=𝑜𝑡 𝑡𝑎𝑛ℎ(𝑐𝑡)
𝑊𝑥𝑖, 𝑊𝑥𝑔, 𝑊𝑥𝑓, 𝑊𝑥𝑜
𝑊ℎ𝑖, 𝑊ℎ𝑔, 𝑊ℎ𝑓, 𝑊ℎ𝑜
𝑏𝑖, 𝑏 𝑔, 𝑏𝑓, 𝑏 𝑜
LSTM의 수식
- 105. 출력 게이트와 은닉 상태
σtan hσ
𝑥𝑡
ℎ 𝑡−1
𝐶𝑡−1
tan h
ℎ 𝑡
σ
ℎ 𝑡
𝑜𝑡
- 107. 일 대 다(one-to-many) 다 대 일(many-to-one) 다 대 다(many-to-many)
return_sequences = True
케라스에서 return_sequences=True를 하면
모든 time step에서 hidden state를 출력
시퀀스 레이블링 작업(ex) 태깅 작업)은 다 대 다 RNN으로 구현한다.
입력 시퀀스로부터 하나의 결론을 내는 작업(ex) 텍스트 분류)는
다 대 일 RNN으로 구현한다.
- 109. EU rejects GERMAN call
B-ORG O B-MISC O
𝑦1 𝑦2 𝑦3 𝑦4
𝑥1 𝑥2 𝑥3 𝑥4
양방향 RNN으로 태깅 작업을 할 경우.
앞의 단어들도 참고하고 뒤의 단어들도 참고한다.
- 110. B-Org
O
𝒘𝒐𝒓𝒅 𝟏 𝒘𝒐𝒓𝒅 𝟐 𝒘𝒐𝒓𝒅 𝟑 𝒘𝒐𝒓𝒅 𝟒
Activation
Dense
Activation
Dense
Activation
Dense
Activation
Dense
0.7
0.12
0.08
0.04
0.06
I-Org
B-Per
I-Per
embedding embedding embedding embedding
0.02
0.6
0.12
0.08
0.18
0.02
0.01
0.78
0.05
0.14
0.01
0.02
0.06
0.9
0.01
B-Per I-Per B-Org I-Org
양방향 RNN 개체명 인식 모델! 성능이 꽤 좋다.
그런데 아직도 개선할 것은 남아있다.
- 111. B-Org
O
0.04
0.12
0.08
0.7
0.06
I-Org
B-Per
I-Per
embedding embedding embedding embedding
0.02
0.6
0.12
0.08
0.18
0.02
0.01
0.14
0.05
0.78
0.01
0.02
0.06
0.9
0.01
I-Org I-Per O I-Org
양방향 RNN이 BIO 규칙을 제대로 반영하지 못 할 경우가 있다.
양방향 RNN은 이전 ‘레이블‘ 자체를 다음 ‘레이블'을 결정하는 일에
직접적으로 반영하지는 못 한다. 이전 ‘단어’를 참고는 하지만 예를 들어 I-Per을 결정할 때
앞에 I-Org라는 레이블이 등장했다는 사실에 대한 정보가 충분히 반영되지 못 한다.
Activation
Dense
Activation
Dense
Activation
Dense
Activation
Dense
𝒘𝒐𝒓𝒅 𝟏 𝒘𝒐𝒓𝒅 𝟐 𝒘𝒐𝒓𝒅 𝟑 𝒘𝒐𝒓𝒅 𝟒
- 112. B-Org
O
0.7
0.12
0.08
0.04
0.06
I-Org
B-Per
I-Per
embedding embedding embedding embedding
0.02
0.6
0.12
0.08
0.18
0.02
0.01
0.78
0.05
0.14
0.01
0.02
0.9
0.06
0.01
CRF 층을 추가하면
레이블간의 의존성을
고려하므로
B-I-O 패턴이라는
제약사항을
직접적으로
학습할 수 있다.
CRF
𝒘𝒐𝒓𝒅 𝟏 𝒘𝒐𝒓𝒅 𝟐 𝒘𝒐𝒓𝒅 𝟑 𝒘𝒐𝒓𝒅 𝟒
Activation
Dense
Activation
Dense
Activation
Dense
Activation
Dense
B-Per I-Per I-Org I-Org
B-Per O B-Org
I-Per I-Per B-Org I-Org
……
I-Per 예측
0.1
0.7
0.05
…CRF layer를 추가!
- 114. Broadway play produced by
embedding embedding embedding embedding
softmax
0.1 0.05 … 0.7 0.1
cat it … him unity
Dense
ELMo는 사전 훈련된 언어 모델을 사용
- 115. Broadway play produced
embedding embedding embedding embedding embedding embedding
순방향 언어 모델
(Forward Language Model)
역방향 언어 모델
(Backward Language Model)
Broadway play produced
ELMo는 사전 훈련된 양방향 언어 모델을 사용
(기존의 BiLSTM하고는 다른데, ELMo에서는 양방향으로 분리해서 훈련하는 것에 가깝다.)
여기서는 순방향 언어 모델의 RNN 셀을 초록색,
역방향 언어 모델의 RNN 셀들을 초록색으로 표현하겠다.
- 116. embedding embedding embedding embedding embedding embedding
순방향 언어 모델
(Forward Language Model)
역방향 언어 모델
(Backward Language Model)
Broadway play produced Broadway play produced
Residual connection을 표현
- 117. embedding embedding embedding embedding embedding embedding
순방향 언어 모델
(Forward Language Model)
역방향 언어 모델
(Backward Language Model)
Broadway play produced Broadway play produced
- 118. × s1
× s2
× s3
× s1
× s2
× s3
+
+
=
γ × =
ELMo 표현 연산 과정
1) 각 층의 출력값을 연결(concatenate)한다.
2) 각 층의 출력값 별로 가중치를 준다.
이 가중치를 여기서는 s1, s2, s3라고 합시다.
3) 각 층의 출력값을 모두 더한다.
2)번과 3)번의 단계를 요약하여 가중합(Weighted Sum)을
한다고 할 수 있습니다.
4) 벡터의 크기를 결정하는 스칼라 매개변수를 곱한다.
이 스칼라 매개변수를 여기서는 γ이라고 합시다.
- 119. ELMo 표현을 NLP 태스크에서 사용하는 방법의 예제
ELMo representation
NLP Tasks
Corpus
biLMs
Embedding vector
embedding
- 121. je suis étudiant
기계 번역기
(SEQUENCE TO SEQUENCE)
인코더
(Encoder)
디코더
(Decoder)
SEQ2SEQ 모델
CONTEXT
I am a student
je suis étudiant
I am a student
기계 번역은 대표적으로 seq2seq 구조를 가지는 예이다.
여기서는 인코더의 RNN 셀들을 주황색
디코더의 RNN 셀들을 초록색으로 표현하겠다.
- 122. CONTEXT
LSTM LSTM LSTM LSTM
디코더(Decoder)
0.15
0.21
-0.11
0.91
CONTEXT
I am a student
je suis étudiant <eos>
<sos> je suis étudiant
LSTM LSTM LSTM LSTM
인코더(Encoder)
0.157
-0.25
0.478
-0.78
I
0.78
0.29
-0.96
0.52
am
0.75
-0.81
0.96
0.12
a
0.88
0.17
-0.29
0.48
student
위의 벡터들은 임베딩 벡터들을 나타낸다.위 벡터는 컨텍스트 벡터를 나타낸다.
- 123. CONTEXT
LSTM LSTM LSTM LSTM
디코더(Decoder)
0.15
0.21
-0.11
0.91
CONTEXT
I am a student
je suis étudiant <eos>
<sos> je suis étudiant
0.15
0.21
-0.11
0.91
I
0.15
0.21
-0.11
0.91
am
0.15
0.21
-0.11
0.91
a
0.15
0.21
-0.11
0.91
student
embedding layer
LSTM LSTM LSTM LSTM
인코더(Encoder)
embedding embedding embedding embedding embedding embedding embedding embedding
아래의 벡터는 인코더의 hidden state를 의미한다.
- 124. 현재 time step t에서의 입력 벡터
현재 time step t에서의 은닉 상태
time step t-1에서의
은닉 상태
time step t에서의
은닉 상태
RNN 셀의 입, 출력을 보여준다.
LSTM 셀으로 생각할 경우에는 cell state는 그림에서 생략되었다고 봐야한다.
- 125. LSTM LSTM LSTM LSTM
디코더(Decoder)
je suis étudiant <eos>
<sos> je suis étudiant
embedding embedding embedding embedding
softmax softmax softmax softmax
Dense Dense Dense Dense
디코더는 기본적으로 RNN 언어모델이다.
이전 time step의 출력을 다음 time step의 입력으로 사용하는
Generation 모델이기 때문이다.
Decoder RNN: A language model that generates the
target sentence conditioned with the encoding created
by the encoder.
- 126. LSTM LSTM LSTM LSTM
디코더(Decoder)
<sos> je suis étudiant
embedding embedding embedding embedding
CONTEXT
I am a student
LSTM LSTM LSTM LSTM
인코더(Encoder)
embedding embedding embedding embedding
je suis étudiant <eos>
softmax softmax softmax softmax
Dense Dense Dense Dense
완전체 그림
- 129. étudiant
softmax
LSTM LSTM LSTM
<sos> je suis
embedding embedding embedding
I am a student
LSTM LSTM LSTM LSTM
embedding embedding embedding embedding
softmax
Dense
seq2seq + attention의 완전체 그림
- 130. LSTM LSTM LSTM
<sos> je suis
embedding embedding embedding
I am a student
LSTM LSTM LSTM LSTM
embedding embedding embedding embedding
dot product
ℎ1 ℎ2 ℎ3 ℎ4
𝑠𝑡−1
𝑇
Attention
Score
𝑒𝑡 = [𝑠𝑡−1
𝑇
ℎ1, . . . , 𝑠𝑡−1
𝑇
ℎ 𝑁]
score(𝑠𝑡−1, ℎ𝑖) = 𝑠𝑡−1
𝑇
ℎ𝑖
1. 우선 어텐션 스코어를 구한다.
- 131. ℎ𝑖
𝑠𝑡−1
𝑇
×
이름 어텐션 스코어 함수
1. 어텐션 스코어를 구하는 방법을
여기서는 dot product(내적)을 사용하였지만
사실 어텐션 스코어 함수를 무엇을 사용하는지에 따라 다르다.
- 132. LSTM LSTM LSTM
<sos> je suis
embedding embedding embedding
I am a student
LSTM LSTM LSTM LSTM
embedding embedding embedding embedding
softmax
Attention
Distribution
2. 어텐션 분포를 구한다.
𝑒𝑡 = 𝑠𝑡−1
𝑇
ℎ1, . . . , 𝑠𝑡−1
𝑇
ℎ 𝑁
𝑒𝑡에 소프트맥스 함수를 사용한다.
- 133. LSTM LSTM LSTM
<sos> je suis
embedding embedding embedding
I am a student
LSTM LSTM LSTM LSTM
embedding embedding embedding embedding
softmax
Attention Value 𝒂 𝒕
ℎ1 ℎ2 ℎ3 ℎ4
3. 가중합한다.
- 134. LSTM LSTM LSTM
<sos> je suis
embedding embedding embedding
softmax
concatenate
Attention Value 𝒂 𝒕
𝒔 𝒕−𝟏
𝑣 𝑡
4. 연결한다.
- 136. LSTM LSTM LSTM LSTM
디코더(Decoder)
𝑥1
LSTM LSTM LSTM LSTM
인코더(Encoder)
?
𝑥2 𝑥 𝑛−1 𝑥 𝑛
… …
…
𝑥1 𝑥2 𝑥 𝑚−1 𝑥 𝑚…
- 138. LSTM
디코더(Decoder)
𝑥1
LSTM LSTM LSTM LSTM
인코더(Encoder)
𝑥2 𝑥 𝑛−1 𝑥 𝑛
… …
…
𝑥1 𝑥2 𝑥 𝑚−1 𝑥 𝑚…
model = Sequential()
model.add(LSTM(..., input_shape=(...)))
model.add(RepeatVector(...))
model.add(LSTM(..., return_sequences=True))
model.add(TimeDistributed(Dense(...)))
ℎ 𝑛
last hidden state
LSTMRepeatVector LSTM LSTM
놀랍게도 이 구조가 전부이다!
- 140. 트랜스포머(Transformer)
I am a student
je suis étudiant
인코더들
(Encoders)
디코더들
(Decoders)
트랜스포머 모델
I am a student
je suis étudiant
인코더 #1
트랜스포머 모델
I am a student
je suis étudiant
인코더 #2
인코더 #3
인코더 #4
인코더 #5
인코더 #6
디코더 #1
디코더 #2
디코더 #3
디코더 #4
디코더 #5
디코더 #6
- 141. I am a student
embedding embedding embedding embedding
je suis étudiant <eos>
<sos> je suis étudiant
embedding embedding embedding embedding
Encoders Decoders
Positional Encoding
I am a student
embedding embedding embedding embedding
Positional Encoding
je suis étudiant <eos>
<sos> je suis étudiant
embedding embedding embedding embedding
Encoders Decoders 포지셔널
인코딩이란?
- 142. I am a student
embedding vector :
positional encoding :
+ + + +
I
am
a
student
+
임베딩 벡터에 값을 더해준다. 그런데 사실 이는 행렬 연산으로도 이해 가능하다.
- 145. 인코더(Encoder)
FFNN
Multi-head
Self-Attention
I am a student
embedding embedding embedding embedding
Positional Encoding
I am a student
LSTM LSTM LSTM LSTM
embedding embedding embedding embedding
Attention
Distribution
softmax
LSTM 관점에서 생각해보는 셀프 어텐션
- 146. student
𝑊 𝑄
𝑊 𝐾
𝑊 𝑉
×
×
×
=
=
=
𝑄𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝐾𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝑉𝑠𝑡𝑢𝑑𝑒𝑛𝑡
인코더의 셀프 어텐션은
가중치 행렬의 곱으로부터 얻은
Q, K, V 벡터로 수행한다.
- 147. 128 128 / 𝑑 𝑘= 16
32 32 / 𝑑 𝑘= 4
32 32 / 𝑑 𝑘= 4
=
𝐾𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝑇
𝐾𝐼
𝑇
𝐾 𝑎𝑚
𝑇
𝐾 𝑎
𝑇
𝑄𝐼
×
×
×
×
=
=
=
Scaled dot product Attention : 𝒔𝒄𝒐𝒓𝒆 𝒇𝒖𝒏𝒄𝒕𝒊𝒐𝒏 𝒒, 𝒌 = 𝒒⋅𝒌/ 𝒏
128 128 / 𝑑 𝑘= 16
Attention Score
- 148. 128 128 / 𝑑 𝑘= 16 0.4 0.4
32 32 / 𝑑 𝑘= 4 0.1 0.1
32 32 / 𝑑 𝑘= 4 0.1 0.1
=
=
𝐾𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝑇
𝐾𝐼
𝑇
𝐾 𝑎𝑚
𝑇
𝐾 𝑎
𝑇
𝑄𝐼
×
×
×
×
=
=
=
𝑉𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝑉𝑎
𝑉𝑎𝑚
𝑉𝐼
softmax
×
128 128 / 𝑑 𝑘= 16 0.4 0.4
×
×
×
Attention Distribution
+
+
+
Attention Value
- 149. 𝑊 𝑄
𝑊 𝐾
𝑊 𝑉
×
×
×
=
=
=
𝑉𝑠𝑡𝑢𝑑𝑒𝑛𝑡
I
am
a
student
𝑄
𝐾
𝐼
𝑎𝑚
𝑎
𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝐼
𝑎𝑚
𝑎
𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝐼
𝑎𝑚
𝑎
𝑠𝑡𝑢𝑑𝑒𝑛𝑡
행렬 연산을 이용하면
병렬로 수행할 수 있다.
- 150. 𝑎× =
=
𝐼 𝑎𝑚 𝑎 𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝑲 𝑻
𝑸
𝐼
𝑎𝑚
𝑎
𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝐼
𝑎𝑚
𝑠𝑡𝑢𝑑𝑒𝑛𝑡
𝐼 𝑎𝑚 𝑎 𝑠𝑡𝑢𝑑𝑒𝑛𝑡
Attention Score Matrix
- 153. 𝒂 𝟎 𝒂 𝟏 𝒂 𝟐
concatenate
𝒂 𝟒 𝒂 𝟓 𝒂 𝟔 𝒂 𝟕 𝒂 𝟖
𝑊 𝑂
𝑑 𝑚𝑜𝑑𝑒𝑙 = 𝑑 𝑣 × num_heads
𝑑 𝑚𝑜𝑑𝑒𝑙 = 𝑑 𝑣 × num_heads
𝑑 𝑚𝑜𝑑𝑒𝑙
- 154. 𝑾 𝑶
𝑑 𝑣 × num_heads
𝑑 𝑚𝑜𝑑𝑒𝑙
𝑑 𝑚𝑜𝑑𝑒𝑙 = 𝑑 𝑣 × num_heads
×
concatenated matrix
seq_len
=
Multi-head attention matrix
- 157. 𝑥
𝐹1 = 𝑥𝑊1 + 𝑏1
활성화 함수 ∶ 𝑅𝑒𝐿𝑈
𝐹2 = max(0, 𝐹1)
𝐹3 = 𝐹2 𝑊2 + 𝑏2
Position-wise FFNN
𝑥
𝐹(𝑥)
+
𝐻 𝑥 = 𝑥 + 𝐹(𝑥)
Residual Connection
- 158. 인코더(Encoder) #1
FFNN FFNN FFNN FFNN
Add & Norm
Add & Norm
Multi-head
Self-Attention
8. 잔차 연결(Residual connection)과 층 정규화(Layer Normalization)
- 160. Decoder Masked Input
Positional Encoding
I am a student
embedding embedding embedding embedding
Positional Encoding
je suis étudiant <eos>
<sos> je suis étudiant
embedding embedding embedding embedding
Encoders Decoders
<sos> je suis étudiant
<sos> je suis étudiant
<sos> je suis étudiant
- 165. 인공 신경망 언어 모델
여기는 아직 미완성입니다.
링크 : 작성 예정
참고 :
https://nlp.stanford.edu/seminar/details/jd
evlin.pdf
- 167. I(one-hot vector)
am(one-hot vector)
a(one-hot vector)
student(one-hot vector)
Projection layer
(linear) Hidden layer
(nonlinear) Output layer
Input layer
NNLM은 총 4개의 layer로 구성된다.
n × V
n × m
500 < h < 1000
(typically)
V
NNLM 언어 모델(피드 포워드 신경망)
- 169. ELMo에서의 양방향 언어 모델(2017)
여기서 <SOS>는 시작 심볼을 의미한다.
순방향 언어 모델과 역방향 언어 모델을 독립적으로 훈련시킨다.
여기서 초록색은 순방향 RNN 셀, 주황색은 역방향 RNN 셀을 의미한다.
<SOS> I am
I am a student
x2
y2
a
LSTM LSTM LSTM LSTM
I am a
<SOS> I am a
x2
y2
student
LSTM LSTM LSTM LSTM
- 170. GTP-1 언어 모델(2018)
<SOS> I am
I am a student
x2
y2
a
TRFR TRFR TRFR TRFR
여기서 <SOS>는 시작 심볼을 의미한다.
TRFR은 여기서 Transformer를 의미한다.
- 171. 언어 모델은 기본적으로 이전 time step에서 예측한 출력이
다음 time step의 입력이 되는데, 위와 같이 만든 양방향 언어 모델은
예측하는 시점에서 이미 예측할 단어를 컨닝하고 있다.
여기서 의문점 한 가지. 이런 식으로 만든 양방향 언어 모델이 안 되는 이유
<SOS> I am a
I am a student
However, it is not possible to train bidirectional
models by simply conditioning each word on
its previous and next words, since this would
allow the word that's being predicted to
indirectly “see itself” in a multi-layer model.
- 출처 : 구글 AI 블로그
- 172. However, it is not possible to train bidirectional models by simply conditioning each word on its
previous and next words, since this would allow the word that's being predicted to indirectly “see
itself” in a multi-layer model.
To solve this problem, we use the straightforward technique of masking out some of the
words in the input and then condition each word bidirectionally to predict the masked words.
- 출처 : 구글 AI 블로그
그러면 문장에서 단어에 구멍을 뚫어놓고고(masked) 양쪽 문맥을 보고 그걸 맞추게 하면 되겠다.
그러면 그게 양방향으로 문맥을 반영한 언어 모델(language model)이지.
마스크드 언어 모델(Masked Language Model) -> BERT에서 사용
BERT - 마스크드 언어 모델(2018)
- 173. the man went to the [MASK] to buy a [MASK] of milk
store gallon
입력 단어들 중 k%를 가리고(mask out), 가려진(masked) 단어들을 예측하게 한다.
Language modeling approaches - Autoregressive approach (e.g. left to right prediction, right to left prediction).
Masked language approach - Using prediction of a word using all other words in a sentence. BERT masks about
15% of words in a sentence and using the context words to predict it.
Check a Image from Hands-on NLP model review
Masked language modeling is useful when trying to learn deep representations (that is learning multiple
representations of a word using a deep model - these representations have shown to improve performance in
downstream tasks. For example lower layer representations of certain models being useful for syntactic tasks
whereas higher layer representations for semantic tasks) for a word using words from either side of a word in a
sentence (deep and bidirectional representations).
출처 : https://www.quora.com/What-is-a-masked-language-model-and-how-is-it-related-to-BERT
BERT - 마스크드 언어 모델(2018)