[GoogleML] Sequence Models & Attention Mechanism

 

 

 

Basic Models

input 프랑스 단어들을 받는 부분 -> 인코더

output 영어 단어들을 출력 -> 디코더 

+ 충분한 양의 input / output 단어 쌍들이 있다면, 해당 구조도 working 

 

 

 

많이 길지 않은 문장을 output으로 낸다면 image captioning도 가능 

sequence to seq

image to seq

 

 

 

Picking the Most Likely Sentence

condition으로 프랑스어 단어가 들어왔을 때,

영단어의 확률을 예측하는 것 -> conditional probablity

 

 

 

랜덤하게 뽑아내다가는 이상한 문장을 만들 수 있다. 

따라서 확률 값을 최대화하는 문장을 예측하는 것이 적합함

따라서 most likely english sentence

 

 

 

윗 문장이 더 올바른 번역

하지만 탐욕적 알고리즘을 적용하면 is 다음으로 going이 오는 확률이 더 커서 아래 문장을 도출함 

따라서 탐욕 알고리즘이 최적의 방식은 아니다. 

단순히 앞의 3 단어만 둔다면, 탐욕법 결과의 확률이 더 큼 

하지만 위의 문장이 더 좋은 문장 (더 적합한 번역) 

 

 

 

Beam Search

beam search에서 B가 의미하는 것은 beam width

 

 

 

B = 3 

3개의 단어에 대하여, 각각 10000

-> 30000 탐색한 것

+ 조건부 확률로 쪼개기 가능 

 

 

 

만약, beam search output 2개 예측 -> in, jane에 비해 상대적으로 낮은 september -> 버린다. 

 

 

 

beam search를 통해 전체 문장을 도출하는 과정

 

 

 

Refinements to Beam Search

파이 대신 로그(시그마)를 사용하자 -> log scale

0과 1 사이의 확률 값이 지속적으로 곱해지면 값이 0에 수렴 

 

 

 

알파가 1에 가까우면 full normalization

0에 가까우면 normalization X

 

 

 

Ty -> 길이 (시행 횟수) 

 

 

 

B -> 얼마나 경우의 수를 고려할 것인가? 

B가 크면, 많은 경우를 고려하는 것 -> 성능은 좋으나, 속도가 느릴 것

+ 휴리스틱한 탐색 방법

 

 

 

Error Analysis in Beam Search

사람이 번역한 것이 y*

ML이 번역한 것이 y^

 

 

 

이 두 결과의 확률을 비교하는 것이 RNN

 

 

 

인간 확률이 높다고 RNN이 예측 -> beam search fault

ML 확률이 높다고 RNN이 예측 -> RNN fault

 

 

 

B와 R의 비율을 계산하여 무엇이 더 많은 에러를 유발하는 원인인지 파악할 수 있다. 

 

 

 

Bleu Score

 

 

 

 

 

 

 

 

 

bleu score - 번역, generation, image caption 등등 여러 분야에 활용된다. 

 

 

 

Attention Model Intuition

길이가 길어질수록 신경망이 기억하기 어렵다 -> 성능이 감소하는 현상 발생

이를 해결하기 위한 attention 메커니즘 (딥러닝에서 매우 중요)

 

 

 

Jane이라는 첫번째 단어를 output 도출하기 위해서 무엇이 필요한가? 

이 각각의 input X 단어들에 대하여 가중치를 도입 -> 알파값 : 얼마나 여기에 attention 할 것인지 의미

S : hidden state

 

 

 

직전 단계에서 생성된 단어 + attention 가중치에 따라 input도 함께 예측하는 과정에 투입 

next word를 예측한다. 

 

 

 

a < t , t' >

영어 t를 예측할 때,

프랑스어 t'을 얼만큼 반영, attention 할 것인가? 

가중치 값을 의미한다. (얼마나 해당 context가 그 feature에 의존할 것인가?) 

t -> target, output

t' -> context, input

 

 

 

Attention Model

알파와 달리 a는 input (x<t>)를 의미한다! 

여기에 어텐션 알파를 곱한 것을 모두 더하면 c가 된다.

 

 

 

그렇다면 이 어텐션 alpha<t, t'>은 어떻게 구하는걸까?

 

 

 

Tx, Ty에 대하여 quadratic cost가 소요된다는 단점 

+ image captioning에 유사한 알고리즘이 적용될 수 있다. 

 

 

 

 

 

 

Speech Recognition

phonemes -> 소리를 들리는대로 표기한 것 (the -> de) 

 

 

 

음성 인식에도 attention 메커니즘이 사용될 수 있다. 

 

 

 

 

 

 

Trigger Word Detection

시리야! 하는 그 trigger detection을 의미한다. (오 신기방기)

 

 

 

trigger word -> 1

아니면 0