Dataset Condensation with Distribution Matching Abstraction Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for reducing training cost is dataset condensation that aims to replace the original large training set with a significantly smaller learned synthe..

🙏 마지막 제출할 때 간절한 기도 메타. 하게 됩니다. . . ' 제발 .. 넘어라 넘어라! ' 하는데 77점 뜨는 짜릿함 . 상상 이상으로 통과하기 어려웠음 . (차라리 코딩 과제 + 수식 시험이 나아요 😇) ✍️ 스토리텔링 형식으로 나오는 문제라서 읽고 이해하는 것만으로도 시간이 많이 걸렸다. . 재시험만 한 시간 친 듯 ? 그래도 무사히 수료해서 다행입니다 ^^_ 4주차 start :)

Transfer Learning (전이학습) 전이학습 - 특정 task에 맞춰 학습시킨 네트워크 -> 다른 task에 적용 last layer를 변경 경우에 따라 여러 layer를 덧붙일 수도 있다 어떠한 경우에 사용하는가? 상대적으로 적은 데이터를 가진 task에 대하여 풍부한 데이터를 가진 task로 우선 학습한 이후 -> knowledge를 transfer (전이학습) 이때 기존 task보다 새로운 task의 중요도가 더 높음 Multi-task Learning one image can have multiple label 이 방법보다는, 전이학습이 더 많이 사용된다. 하나의 네트워크로 여러 태스크를 정의하는 것이 어렵기 때문에 What is End-to-end Deep Learning? enough..

Carrying Out Error Analysis error 중 dog가 차지하는 비율이 크지 않을 때 강아지가 찾이하는 비율이 50%였다면, dog에 focus를 맞추어 문제를 해결하는 것이 효과적일 수 있다 다양한 카테고리의 에러 원인이 있다 높은 비율의 원인 (great cats와 blurry에 focus하여 해결할 수 있다.) -> error의 주 원인을 분석할 수 있다. Cleaning Up Incorrectly Labeled Data 딥러닝 알고리즘은 1) random error에는 강인하지만 2) system error에는 취약하다 만약 incorrectly labeled error가 큰 영향력을 준다면 -> 고쳐라 아니라면? (적은 비율이라면) 추천하지 않음 이런 상황에서는? 잘못 레이블 ..

Orthogonalization 이게 어떻게 ML과 연관이 있는가? Single Number Evaluation Metric precision (정밀도) : cat으로 판별된 것 중 실제 cat의 비율 recall (재현율) : 실제 cat 중 제대로 분류된 것의 비율 A와 B중 어떤 분류기가 더 좋은가? Satisficing and Optimizing Metric cost func에 다양한 의도를 담을 수 있다 accuracy - 높을수록 좋음 (optimize) running time - 100ms 이하이기만 하면 됨 (satisfied) + 음성 신호의 100ms를 의미! Train/Dev/Test Distributions 두 set이 같은 분포를 가질 수 있도록 randomly sampling S..

https://github.com/VICO-UoE/DatasetCondensation GitHub - VICO-UoE/DatasetCondensation: Dataset Condensation (ICLR21 and ICML21) Dataset Condensation (ICLR21 and ICML21). Contribute to VICO-UoE/DatasetCondensation development by creating an account on GitHub. github.com 돌려볼 모델은 이 아이였습니다. . . 까먹기 전에 명령어 정리 ✍️ conda init conda list conda env list conda activate pythorch1.12.1_p38 source ~/.bashrc v..

Abstract Keywords: scene representation, view synthesis, image-based rendering, volume rendering, 3D deep learning We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non- convolutional)..

Softmax Regression softmax fuction exponential들의 summation으로 나누어준다 더욱 극대화하는 효과가 있다 softmax activation func Training a Softmax Classifier

Normalizing Activations in a Network normalize를 통해 수렴 속도를 향상시킬 수 있다. 이때 normalize의 대상은 a가 아닌, z인 경우가 더 많다. (활성화 함수 통과한 이전의 값을 normalize) 선형 변환을 위한 감마와 베타는 Learnable params이다! 감마와 베타 Fitting Batch Norm into a Neural Network z와 a를 계산하는 사이에 들어간다 tf.nn.batch_normalization 한 줄의 코드로 구현할 수 있다 Why does Batch Norm work? batch norm은 input의 distribution이 변하는 것을 막아준다 speed up learning 초기 층들의 params update 전..