Normalizing Activations in a Network normalize를 통해 수렴 속도를 향상시킬 수 있다. 이때 normalize의 대상은 a가 아닌, z인 경우가 더 많다. (활성화 함수 통과한 이전의 값을 normalize) 선형 변환을 위한 감마와 베타는 Learnable params이다! 감마와 베타 Fitting Batch Norm into a Neural Network z와 a를 계산하는 사이에 들어간다 tf.nn.batch_normalization 한 줄의 코드로 구현할 수 있다 Why does Batch Norm work? batch norm은 input의 distribution이 변하는 것을 막아준다 speed up learning 초기 층들의 params update 전..

Mini-batch Gradient Descent Understanding Mini-batch Gradient Descent batch도 시간이 많이 걸린다. 이 둘의 하이브리드 너무 크거나 작지 않은 미니 배치 사이즈 1. vectorization 2. 전체를 full로 다 기다릴 필요 X 1. 2000개 이하의 데이터 -> full batch 2. 큰 데이터 셋 -> 64 / 128 / 512 중 하나를 택해서 사용 3. GPU / CPU 메모리에 맞게 사용 주의 Exponentially Weighted Averages Understanding Exponentially Weighted Averages Bias Correction in Exponentially Weighted Averages t 가 커..