Train / Dev / Test sets 과거 - 고정된 비율의 train / dev / test 현재 - 빅데이터 동향에 맞춰, 능동적으로 조절 (1%) train과 test set의 분포가 동일하도록 ! test set? -> develop set이 더 적합한 용어이다. Bias / Variance bias - 오차 variance - 일반화 high / low variance & bias train set error가 크다 -> 아직 학습이 덜 됨 (bias 높다) more iteration train은 낮은데, test error가 크다 -> 일반화 능력 떨어짐, 오버피팅 상태 (variance가 높다) 둘 다 낮은 상태가 적합 둘 다 크다면? 모델 크기가 부적합 Basic Recipe for ..

2023. 09. 12 Tuesday 첫 번째 강좌 수료를 마쳤다 :) 🌚 새벽 3시까지 윤영이랑 도서관에서 밤샘 코딩 . 그래도 보람이 있네요. 매우 뿌듯합니다. 🔥 🌞 생각보다 강의도 . 퀴즈도 . 실습 코드도 기한 안에 다 하기 빡세다 . . 다음부터는 미루지 않고, 성실하게 해야겠어요.

Deep L-layer Neural Network input dim 만큼 input 노드의 수 1개의 input image에 대해, feature들의 수로 해석할 수 있다 Forward Propagation in a Deep Network 모든 training example m개를 한 번에 horizontally 표현하는 것 -> vector version Getting your Matrix Dimensions Right Why Deep Representations? input layer에 가까운 노드들은 엣지 detect (가로, 세로 방향의 low level features) 가운데 - 눈, 코 detect 마지막 - 얼굴 인식 (high level features) 오디오 인식의 경우에도, low ..

Keynote 최종 version

Dataset Condensation with Gradient Matching (ICLR 2021) Abstract As the state-of-the-art machine learning methods in many fields rely on larger datasets, storing datasets and training models on them become significantly more expensive. This paper proposes a training set synthesis technique for data-efficient learning, called Dataset Condensation, that learns to condense large dataset into a smal..

Keynote 초안

Explanation for Vectorized Implementation Activation Functions tanh는 sigmoid를 shift한 func (거의 동일) but tanh가 sigmoid보다는 조금 더 유리하다 why? -> mean이 zero에 형성 -> 통과한 이후 값들의 평균이 중앙에 분포, 더 유리 (sigmoid는 0.5) 마지막 layer에서는 sigmoid 사용 why? y는 0 or 1 따라서 출력을 0과 1 사이로 맞추려고 tanh 보다는 sigmoid gradient 기울기가 소멸되는 문제를 해결하기 위해 ReLU를 사용한다. 0이 되는 미분 불가능한 point에서는 0에 가까운 값을 대신 출력 어떠한 활성화 함수를 쓸 지 모르겠다면, ReLU를 써라 Leaky Re..

Neural Networks Overview Neural Network Representation Computing a Neural Network's Output Vectorizing Across Multiple Examples

지난 학기(23-1)에 들었던 기계학습, 딥러닝 수업 내용 복습하는 기분이다. 생각보다 퀴즈가 한 번에 통과하기 어려워서, 집중해서 듣고 신중하게 문제를 풀어야한다. programming 과제도 몇 개 나왔는데, 우선 동영상 강의부터 다 몰아서 듣고, 주피터 코딩 문제들은 12일 전까지 . . 따로 모아서 개발해야 될 것 같다. 수료까지 화이팅팅 (Chapter 5개 . . 남았따 🌞)

Python and Vectorization More Vectorization Examples Vectorizing Logistic Regression X의 차원은 (nx, m) nx dim vector가 m(sample)개 있다! :) 왜냐하면 x 데이터 1개를 열벡터로, 세로로 stacking 했으므로, 세로 방향으로는 성분들 (dim), 가로 방향으로는 m개의 샘플들이 진행 Vectorizing Logistic Regression's Gradient Output 벡터화 하더라도, iteration loop는 항상 필요하다. Broadcasting in Python Can you do this without explicit for-loop? A Note on Python/Numpy Vectors Qu..