[GoogleML] Word Embeddings _ Word2vec & GloVe

Learning Word Embeddings blank를 채우는 방식 (예측하는) 만약, 빈칸 앞의 4 단어만 보고 예측한다면? (앞에 i want는 삭제, 1800 -> 1200) context에 맞추어 (기준에 따라) 타겟을 예측하는데 활용할 단어가 달라진다. Word2Vec 랜덤하게 target 벡터를 고른다. (특정 범위의 윈도우 사이즈 내부에서) 계산 비용 -> slow 문제 가속화를 위해 트리 구조를 활용 (저빈도 -> 더 deep) Hierarchical softmax 휴리스틱한 다양한 방법들이 적용될 수 있다. Negative Sampling 인풋으로 두 단어 -> target을 예측하는 문제 (0 or 1) 비교적 큰 데이터 셋 -> K를 작게 잡는다. 첫번째 주스만 1 -> positi..

2023.10.29