[GoogleML] Regularizing Neural Network

Regularization 높은 차원의 W에 비해, b는 매우 낮은 차원(실수) bias는 regularization 하지 않는다. @Logistic regression @Neural Network Why Regularization Reduces Overfitting? 람다를 키울 경우, W가 죽게 된다 더 간단한 모델 구조가 된다 W를 0으로 만들기 위해 더 simple한 network -> parmas size를 줄여서 오버피팅 방지 가능 (과적합 해결) layer를 linear하게 만든다 -> 오버피팅 해결 second term의 추가로, 기존 cost func에서 변화가 발생하게 된다 Dropout Regularization 더 작은 규모의 network로 만드는 역할 1보다 작은 값으로 나눈다 ..

2023.09.12