[GoogleML] Adam Optimizer

 

 

 

Gradient Descent with Momentum

세로 성분을 평균내버린다고 생각해도 될 것 같다! :)

 

 

 

공을 굴릴 때, 속도와 가속도로 생각할 수 있다

 

 

 

알고리즘

 

 

 

(보라색 버전은) 조금 덜 직관적이다

 

 

 

RMSprop

이것이 어떻게 동작할 수 있는가?

세로 방향으로는 적게, 

가로 방향으로는 많이 update 되어야 한다! (많이 가야 한다) 

 

 

 

 

 

 

numerical 안정성을 위해 분모에 엡실론을 더해준다

 

 

 

Adam Optimization Algorithm

아담

 

 

 

 

 

 

Learning Rate Decay

초반에는 크게 확 확

나중에는 learning rate 크기를 줄인다

 

 

 

 

 

 

 

 

 

The Problem of Local Optima

기울기가 0인 지점이 안장점 경우가 더 많다 (local optima일 상황보다)

 

 

 

wow! saddle point

 

 

 

오랫동안 기울기가 0에 가까운, plateau도 학습을 방해하는 요인이 된다