Normalizing Inputs Vanishing / Exploding Gradients 겹겹이 쌓인 W -> weights 1.5 -> 지수적으로 증가 (gradient 폭발) 0.5 -> 지수적으로 감소 (gradient vanishing) layer가 깊게 쌓일수록, 학습이 어려워지는 문제 이를 해결하기 위한 웨이트 초기화 Weight Initialization for Deep Networks weight init 중요하다 gradient가 폭발하거나 사라지게 하지 않기 위해서 Numerical Approximation of Gradients 단방향 / 양방향 grad 계산 Gradient Checking 이 수식은 어떤 값을 확인하라는거지 . . ? 잘 모르겠다. cos 유사도도 아닌 것 같고,..

Keynote 최종 version

Dataset Condensation with Gradient Matching (ICLR 2021) Abstract As the state-of-the-art machine learning methods in many fields rely on larger datasets, storing datasets and training models on them become significantly more expensive. This paper proposes a training set synthesis technique for data-efficient learning, called Dataset Condensation, that learns to condense large dataset into a smal..

Keynote 초안

W가 only parameter, nx dim vector. b는 real number loss func - single training example에 대한 error cost func - cost of your params (전체 데이터에 대해, Parameter W, b의 평균 에러를 의미) Gradient Descent slope of the function Derivatives 직선이라면 (1차 함수) a의 값에 무관하게, 함수의 증가량은 변수 증가량의 3배 즉 3으로 미분값이 일정하다 Computation Graph Derivatives with a Computation Graph Logistic Regression Gradient Descent Gradient Descent on m Exam..