[GoogleML] Batch Normalization

 

 

 

Normalizing Activations in a Network

normalize를 통해 수렴 속도를 향상시킬 수 있다. 

이때 normalize의 대상은 a가 아닌, z인 경우가 더 많다.

(활성화 함수 통과한 이전의 값을 normalize)

 

 

 

선형 변환을 위한 감마와 베타는 Learnable params이다!

 

 

 

감마와 베타

 

 

 

Fitting Batch Norm into a Neural Network

z와 a를 계산하는 사이에 들어간다

 

 

 

모멘텀이나 ADAM에서 사용되는 베타와는 다른 베타이다! at BN

tf.nn.batch_normalization 한 줄의 코드로 구현할 수 있다

 

 

 

BN을 적용한 z 틸다에 activation을 통과시켜 a를 얻고 -> 다시 z(2)

 

 

 

bias term은 normalize 하지 않는다!

 

 

 

 

 

 

Why does Batch Norm work?

covariate shift 문제 (학교에서 배우던 거랑 다른 개념 같기도 . . ? )

 

 

 

W와 b가 바뀌면, 그 이후의 값들 (a)도 영향을 받게 된다

 

 

 

batch norm은 input의 distribution이 변하는 것을 막아준다

speed up learning 

초기 층들의 params update 

 

 

 

전체 full batch는 noisy할 수 있다. 

따라서 mini-batch의 mean과 variance를 사용한다 

side effect로 regularization 효과가 있다

 

 

 

Batch Norm at Test Time

mini-batch 단위 별 mean과 variance 

 

 

 

rescaling -> 람다와 베타를 통한 선형 변환