[GoogleML] Optimization Algorithms

 

 

 

Mini-batch Gradient Descent

training set 데이터 수가 너무 많다면?

 

 

 

5 000 000 을 1000 size의 배치로 나누어, 총 5000개의 배치 생성

 

 

 

한 epoch을 돌고, update가 된 상황

 

 

 

Understanding Mini-batch Gradient Descent

줄어들지만, 더 noisy한 경향이 있다

 

 

 

매우 안정 vs 매우 노이즈

batch도 시간이 많이 걸린다.

이 둘의 하이브리드

 

 

 

너무 크거나 작지 않은 미니 배치 사이즈 

1. vectorization

2. 전체를 full로 다 기다릴 필요 X

 

 

 

1. 2000개 이하의 데이터 -> full batch

2. 큰 데이터 셋 -> 64 / 128 / 512 중 하나를 택해서 사용

3. GPU / CPU 메모리에 맞게 사용 주의

 

 

 

Exponentially Weighted Averages

real data -> 조금 노이즈

 

 

 

과거의 값을 반영 (like 관성) / 세타는 오늘, 현재의 온도를 의미한다

 

 

 

 

 

 

 

 

 

Understanding Exponentially Weighted Averages

자연 상수 e의 정의

 

 

 

과거를 반영하여 더 안정적으로 수렴하도록

 

 

 

Bias Correction in Exponentially Weighted Averages

 

 

 

t 가 커질수록 v가 0에 가까워짐

즉, 초록 선과 보라색 선이 겹침

초기에는 값의 차이가 크다 (유효하다)