[GoogleML] Natural Language Processing & Word Embeddings

 

 

 

Word Representation

내적을 통해 유사도를 파악할 수 있다. 

 

 

 

모델의 입장에서 사과와 오렌지 feature vector는 유사하다 

킹 - 오렌지, 퀸 - 오렌지 보다 사과 - 오렌지가 더 유사한 관계 

 

 

 

임베딩의 개념 

 

 

 

Using Word Embeddings

전이 학습을 통해 더 작은 양의 training set에 적용 가능하다 

 

 

 

 

 

 

이러한 점에서 word embedding은 face encoding과 유사한 점이 있다! :) 

 

 

 

Properties of Word Embeddings

man -> woman as king -> what? 

어떻게 알고리즘적으로 추론할 수 있을까? (두벡터의 차가 동일해지는 feature -> gender) 

 

 

 

300 차원의 표현 공간에서 성별을 의미하는 두 벡터가 유사하게 나타난다. 

따라서 해당 target word를 얻으려면,

ew(대상 벡터, 우리가 원하는 답)과, (eking - eman - ewoman) 의 값의 유사도를 최대화하는 w를 찾으면 된다. 

 

 

 

T-SNE -> 300차원을 2D로 매핑시켜서, 보여준다. (티즈니) 

 

 

 

코사인 유사도를 의미하는 sim

두 벡터 사이의 각의 코사인 값 -> 유사도로 사용 가능 

 

 

 

Embedding Matrix

원 핫 벡터와 전체 embedding matrix의 내적을 통해 orange 열만 뽑아낼 수 있다 == e6257