[GoogleML] Adam Optimizer

Gradient Descent with Momentum RMSprop 이것이 어떻게 동작할 수 있는가? 세로 방향으로는 적게, 가로 방향으로는 많이 update 되어야 한다! (많이 가야 한다) Adam Optimization Algorithm Learning Rate Decay 초반에는 크게 확 확 나중에는 learning rate 크기를 줄인다 The Problem of Local Optima 오랫동안 기울기가 0에 가까운, plateau도 학습을 방해하는 요인이 된다

2023.09.20