[GoogleML] Hyperparameter Tuning

 

 

 

Tuning Process

hyperparams 별 중요도가 다르다

 

 

 

랜덤하게 pick!

왜냐하면 params 별 (축 별) 중요도가 다르기 때문

섬세한 정도가 달라야 하는데, grid는 모두 동일하게 다루기 때문

random하게 보는 것이 더 좋다 

 

 

 

3개 이상 -> 더 큰 입방체

 

 

 

더 작은 Part로 줌인 & 더 많은 point (dense)

 

 

 

Using an Appropriate Scale to pick Hyperparameters

범위를 주고, random하게 뽑는다 / uniformly random

 

 

 

linear보다 log scale을 쓰는 것이 더 적합할 수 있다

 

 

 

다음과 같이 베타가 분모에 들어갈 경우, 

단순한 델타값 이상의 중요도가 있다 (sensitivity)

 

 

 

Hyperparameters Tuning in Practice: Pandas vs. Caviar

 

 

 

작은 setting / computational 으로 하나의 model을 평가 vs

다양한 모델, 다양한 setting을 병렬적으로 처리

 

 

 

판다식 vs 캐비어