[GoogleML] Regularizing Neural Network

 

 

 

프로베니우스 norm 공식 (하단에 F)

 

 

 

Regularization

높은 차원의 W에 비해, b는 매우 낮은 차원(실수)

bias는 regularization 하지 않는다. 

 

 

 

@Logistic regression

람다 = regularization parameter

 

 

 

@Neural Network

L2 norm = wieght decay

 

 

 

Why Regularization Reduces Overfitting?

람다를 키울 경우, W가 죽게 된다 

더 간단한 모델 구조가 된다

W를 0으로 만들기 위해

더 simple한 network -> parmas size를 줄여서 오버피팅 방지 가능 (과적합 해결)

 

 

 

람다로 인해 W가 작아지면, Z에 들어가는 값도 줄어든다 -> 활성화 함수의 0근처에 분포 -> 직선

layer를 linear하게 만든다 -> 오버피팅 해결 

 

 

 

second term의 추가로, 기존 cost func에서 변화가 발생하게 된다 

 

 

 

Dropout Regularization

random하게 노드를 삭제하는 기법

더 작은 규모의 network로 만드는 역할

 

 

 

inverted dropout

1보다 작은 값으로 나눈다 -> 키운다

activation 값의 차원을 키운다 (dropout으로 줄어들었기 때문에)

keep prob - 보존하려는 노드의 비율 

 

 

 

test time에서는 training time과 달리, 비율을 조정할 필요 X

In general, the number of neurons in the previous layer gives us the number of columns of the weight matrix,

and the number of neurons in the current layer gives us the number of rows in the weight matrix.

 

 

 

Understanding Dropout

 

 

 

layer의 node 수, 특성에 따라 dropout을 적용하는 keep-prob을 조정할 수 있다

CV 분야에서 많이 사용되는 overfitting 방지 regularization  

 

 

 

Other Regularization Methods

 

 

 

왜 W가 점점 더 커지지?

- validation(develop) error가 높아지기 전에 조기 멈춤 알고리즘

 

 

 

cost를 낮추는 목적 + 규제 (오버피팅 방지)