🧌 시험 기간이 겹치는 바람에 최초로 . . 마감일을 over 했습니다. I am 바보 . 에요 🏆 캐글까지 잘 마쳐서 구글 부트캠프 수료까지 , , (며칠 안남았따 ^^_ ; ; )

Transformer Network Intuition // 구글 마지막 강의! :) 기존의 sequence 데이터를 다루던 방식과 달리, parallel하게 처리 + 두 개념이 중요하다 (self-attention, multi-head attention) Self-Attention Query, Key, Value 세가지 값이 중요 + softmax 수식과 유사하다 예를 들어, q3이 what's happen in there(아프리카) 라면, q3과 k1 -> 해당 질문에 대한 답이 jane인 것 (person) q3과 k2 -> 해당 질문에 대한 답이 visit인 것 (action) 등등 dot product attention이라고 불리기도 한다. 전에 key, value, query + 어텐션 Mult..

Basic Models input 프랑스 단어들을 받는 부분 -> 인코더 output 영어 단어들을 출력 -> 디코더 + 충분한 양의 input / output 단어 쌍들이 있다면, 해당 구조도 working 많이 길지 않은 문장을 output으로 낸다면 image captioning도 가능 sequence to seq image to seq Picking the Most Likely Sentence condition으로 프랑스어 단어가 들어왔을 때, 영단어의 확률을 예측하는 것 -> conditional probablity 랜덤하게 뽑아내다가는 이상한 문장을 만들 수 있다. 따라서 확률 값을 최대화하는 문장을 예측하는 것이 적합함 따라서 most likely english sentence 윗 문장이 더..

Learning Word Embeddings blank를 채우는 방식 (예측하는) 만약, 빈칸 앞의 4 단어만 보고 예측한다면? (앞에 i want는 삭제, 1800 -> 1200) context에 맞추어 (기준에 따라) 타겟을 예측하는데 활용할 단어가 달라진다. Word2Vec 랜덤하게 target 벡터를 고른다. (특정 범위의 윈도우 사이즈 내부에서) 계산 비용 -> slow 문제 가속화를 위해 트리 구조를 활용 (저빈도 -> 더 deep) Hierarchical softmax 휴리스틱한 다양한 방법들이 적용될 수 있다. Negative Sampling 인풋으로 두 단어 -> target을 예측하는 문제 (0 or 1) 비교적 큰 데이터 셋 -> K를 작게 잡는다. 첫번째 주스만 1 -> positi..

Word Representation 내적을 통해 유사도를 파악할 수 있다. 모델의 입장에서 사과와 오렌지 feature vector는 유사하다 킹 - 오렌지, 퀸 - 오렌지 보다 사과 - 오렌지가 더 유사한 관계 임베딩의 개념 Using Word Embeddings 전이 학습을 통해 더 작은 양의 training set에 적용 가능하다 이러한 점에서 word embedding은 face encoding과 유사한 점이 있다! :) Properties of Word Embeddings man -> woman as king -> what? 어떻게 알고리즘적으로 추론할 수 있을까? (두벡터의 차가 동일해지는 feature -> gender) 300 차원의 표현 공간에서 성별을 의미하는 두 벡터가 유사하게 나타난..

Why Sequence Models? Notation 단어 단위로 끊은 뒤, 이름에 관련한 부분을 식별한다고 하자 (이름 y -> 1, 아니면 0) X -> 첫번째 단어 i 번째 sample(문장)에 대해 t번째 단어, 요소 -> X(i) 라고 표기한다 Tx(i) = 9 (단어 개수가 9개라는 의미) one-hot vector로 표현되는 각 단어들 ex) X 주어진 사전, vocavulary에 대해, mapping 되는 값만 1, 나머지는 0 -> one-hot 만약에 사전에 없는 단어가 주어진다 -> unknown 이를 통해 x -> y mapping Recurrent Neural Network Model 기존의 구조로는 표현하기 어령누 sequential data 가중치들을 공유한다! y3을 예측하기..

🦧 첫주차 코딩 과제가 혹독하게 어려웠던 기억이 납니다. . . 그래도 80% 왔다니깐, 뿌듯하네요 :) CNN과 관련된 다양한 실습을 할 수 있었다. 마지막 주차도 파이팅팅 🎉 ' 무사히 수료할 수 있길 . . . 🙏 '

What is Neural Style Transfer? C + S -> G What are deep ConvNets learning? input에 가까운 얕은 layer들은 추상적인 edge output에 가까운 deeper layer -> 더 디테일한 단위로 detect layer 2 -> 선, 도형 단위를 확인할 수 있다 구체적인 객체까지 잡아내는 마지막 단계 layer들 Cost Function 두 cost func을 합하여 total Content Cost Function Style Cost Function 채널을 5개로 (색으로) 구분 오렌지와 노란색의 스타일이 유사하다 - correlated 즉, vertical과 주황빛이 서로 correlated (증가하면 증감) 두 activation 값이..

What is Face Recognition? recognition -> 더 어려운 태스크 One Shot Learning DB에 저장된 사람 중 있는지 or 아닌지 예측하는 것 only 한 장의 사진 만으로 사람을 구분해야함 게다가 새로운 팀원이 추가될 경우 매번 재학습? -> 비효율 따라서 유사도 함수를 학습하도록 함 DB에 있는 특정 사람과 유사할 경우 매우 작은 값 없거나 다른사람 - 큰 값 Siamese Network 두 이미지가 같은 사람인지 아닌지 측정하는 메트릭으로 d를 학습한다 (norm 개념) distance 함수의 concept Triplet Loss SVM에 나오는 margin concept positive d 이 0.5고 margin 이 0.2 라면 negative d 은 적어도 ..

Object Localization 하나의 객체만 detect vs 여러 객체 detect (multiple) bounding box에 대한 값을 classifier에 추가 중심 point 위치 + 높이 + 너비 -> 4개의 parameter Pc -> object가 존재하는가? 있다면 bounding box 정보 + 다른 class들이 있는지에 대한 C 값들 없다면 (Pc가 0이라면) 다른 레이블들은 다 상관 X (Don't cares) y1이 1이라면 MSE처럼 에러 (loss) 값 계산 y1이 0이라면 (없다면) don't care + classification + localization까지 할 수 있도록 -> by bounding box 정보도 추가 Landmark Detection 눈의 위치를 ..