Learning Word Embeddings blank를 채우는 방식 (예측하는) 만약, 빈칸 앞의 4 단어만 보고 예측한다면? (앞에 i want는 삭제, 1800 -> 1200) context에 맞추어 (기준에 따라) 타겟을 예측하는데 활용할 단어가 달라진다. Word2Vec 랜덤하게 target 벡터를 고른다. (특정 범위의 윈도우 사이즈 내부에서) 계산 비용 -> slow 문제 가속화를 위해 트리 구조를 활용 (저빈도 -> 더 deep) Hierarchical softmax 휴리스틱한 다양한 방법들이 적용될 수 있다. Negative Sampling 인풋으로 두 단어 -> target을 예측하는 문제 (0 or 1) 비교적 큰 데이터 셋 -> K를 작게 잡는다. 첫번째 주스만 1 -> positi..

Word Representation 내적을 통해 유사도를 파악할 수 있다. 모델의 입장에서 사과와 오렌지 feature vector는 유사하다 킹 - 오렌지, 퀸 - 오렌지 보다 사과 - 오렌지가 더 유사한 관계 임베딩의 개념 Using Word Embeddings 전이 학습을 통해 더 작은 양의 training set에 적용 가능하다 이러한 점에서 word embedding은 face encoding과 유사한 점이 있다! :) Properties of Word Embeddings man -> woman as king -> what? 어떻게 알고리즘적으로 추론할 수 있을까? (두벡터의 차가 동일해지는 feature -> gender) 300 차원의 표현 공간에서 성별을 의미하는 두 벡터가 유사하게 나타난..