Gradient Descent with Momentum RMSprop 이것이 어떻게 동작할 수 있는가? 세로 방향으로는 적게, 가로 방향으로는 많이 update 되어야 한다! (많이 가야 한다) Adam Optimization Algorithm Learning Rate Decay 초반에는 크게 확 확 나중에는 learning rate 크기를 줄인다 The Problem of Local Optima 오랫동안 기울기가 0에 가까운, plateau도 학습을 방해하는 요인이 된다

Mini-batch Gradient Descent Understanding Mini-batch Gradient Descent batch도 시간이 많이 걸린다. 이 둘의 하이브리드 너무 크거나 작지 않은 미니 배치 사이즈 1. vectorization 2. 전체를 full로 다 기다릴 필요 X 1. 2000개 이하의 데이터 -> full batch 2. 큰 데이터 셋 -> 64 / 128 / 512 중 하나를 택해서 사용 3. GPU / CPU 메모리에 맞게 사용 주의 Exponentially Weighted Averages Understanding Exponentially Weighted Averages Bias Correction in Exponentially Weighted Averages t 가 커..

Normalizing Inputs Vanishing / Exploding Gradients 겹겹이 쌓인 W -> weights 1.5 -> 지수적으로 증가 (gradient 폭발) 0.5 -> 지수적으로 감소 (gradient vanishing) layer가 깊게 쌓일수록, 학습이 어려워지는 문제 이를 해결하기 위한 웨이트 초기화 Weight Initialization for Deep Networks weight init 중요하다 gradient가 폭발하거나 사라지게 하지 않기 위해서 Numerical Approximation of Gradients 단방향 / 양방향 grad 계산 Gradient Checking 이 수식은 어떤 값을 확인하라는거지 . . ? 잘 모르겠다. cos 유사도도 아닌 것 같고,..

Regularization 높은 차원의 W에 비해, b는 매우 낮은 차원(실수) bias는 regularization 하지 않는다. @Logistic regression @Neural Network Why Regularization Reduces Overfitting? 람다를 키울 경우, W가 죽게 된다 더 간단한 모델 구조가 된다 W를 0으로 만들기 위해 더 simple한 network -> parmas size를 줄여서 오버피팅 방지 가능 (과적합 해결) layer를 linear하게 만든다 -> 오버피팅 해결 second term의 추가로, 기존 cost func에서 변화가 발생하게 된다 Dropout Regularization 더 작은 규모의 network로 만드는 역할 1보다 작은 값으로 나눈다 ..

Train / Dev / Test sets 과거 - 고정된 비율의 train / dev / test 현재 - 빅데이터 동향에 맞춰, 능동적으로 조절 (1%) train과 test set의 분포가 동일하도록 ! test set? -> develop set이 더 적합한 용어이다. Bias / Variance bias - 오차 variance - 일반화 high / low variance & bias train set error가 크다 -> 아직 학습이 덜 됨 (bias 높다) more iteration train은 낮은데, test error가 크다 -> 일반화 능력 떨어짐, 오버피팅 상태 (variance가 높다) 둘 다 낮은 상태가 적합 둘 다 크다면? 모델 크기가 부적합 Basic Recipe for ..

2023. 09. 12 Tuesday 첫 번째 강좌 수료를 마쳤다 :) 🌚 새벽 3시까지 윤영이랑 도서관에서 밤샘 코딩 . 그래도 보람이 있네요. 매우 뿌듯합니다. 🔥 🌞 생각보다 강의도 . 퀴즈도 . 실습 코드도 기한 안에 다 하기 빡세다 . . 다음부터는 미루지 않고, 성실하게 해야겠어요.

Deep L-layer Neural Network input dim 만큼 input 노드의 수 1개의 input image에 대해, feature들의 수로 해석할 수 있다 Forward Propagation in a Deep Network 모든 training example m개를 한 번에 horizontally 표현하는 것 -> vector version Getting your Matrix Dimensions Right Why Deep Representations? input layer에 가까운 노드들은 엣지 detect (가로, 세로 방향의 low level features) 가운데 - 눈, 코 detect 마지막 - 얼굴 인식 (high level features) 오디오 인식의 경우에도, low ..

Explanation for Vectorized Implementation Activation Functions tanh는 sigmoid를 shift한 func (거의 동일) but tanh가 sigmoid보다는 조금 더 유리하다 why? -> mean이 zero에 형성 -> 통과한 이후 값들의 평균이 중앙에 분포, 더 유리 (sigmoid는 0.5) 마지막 layer에서는 sigmoid 사용 why? y는 0 or 1 따라서 출력을 0과 1 사이로 맞추려고 tanh 보다는 sigmoid gradient 기울기가 소멸되는 문제를 해결하기 위해 ReLU를 사용한다. 0이 되는 미분 불가능한 point에서는 0에 가까운 값을 대신 출력 어떠한 활성화 함수를 쓸 지 모르겠다면, ReLU를 써라 Leaky Re..

Neural Networks Overview Neural Network Representation Computing a Neural Network's Output Vectorizing Across Multiple Examples

지난 학기(23-1)에 들었던 기계학습, 딥러닝 수업 내용 복습하는 기분이다. 생각보다 퀴즈가 한 번에 통과하기 어려워서, 집중해서 듣고 신중하게 문제를 풀어야한다. programming 과제도 몇 개 나왔는데, 우선 동영상 강의부터 다 몰아서 듣고, 주피터 코딩 문제들은 12일 전까지 . . 따로 모아서 개발해야 될 것 같다. 수료까지 화이팅팅 (Chapter 5개 . . 남았따 🌞)