Why look at case studies? Classic Networks LeNet - 현재는 1000배 이상 더 많은 params - layer가 진행될수록 nh, nw는 줄어들고, nc (채널의 수)는 증가하는 구조 - conv와 pooling이 번갈아가면서 수행된다. (풀링 진행할 때는 채널 수 유지) - 채널의 수 == 이전 레이어의 필터 수 - 끝단에 softmax activation func을 활용하여 y' target 예측 AlexNet - LeNet과 유사한 구조이나, 훨씬 더 크다 (params 1000배 증가) - ReLU activation func 활용 - multiple GPU 병렬처리 - Local Response Normalization (LRN) 활용 -> 한 pixel ..

Computer Vision CV 이미지 처리의 문제 input (image)의 차원이 매우 크다 (3 channel까지 고려) 더 높은 해상도의 이미지일수록, 상대적으로 데이터 수가 부족하여 오버피팅 날 확률 높아짐 Edge Detection Example edge의 개념 Convolution 연산의 의의 (과정) 프레임워크 별 conv 연산을 수행하는 각각의 연산이 존재한다 (method 이름은 다름) 왜 세로 방향 edge를 detect 하는가? 반은 밝고 (값이 크고), 반은 어두운 이미지를 생각해보자 이때 vertical filter를 활용하면 (이미지 변화를 검출하는 것) 좌우 변화를 detect 한 부분은 +30으로 밝게 표현된다 따라서 경계선 (세로 줄 부분)이 다음 단계에서는 밝은 값으로..

Dataset Condensation with Distribution Matching Abstraction Computational cost of training state-of-the-art deep models in many learning problems is rapidly increasing due to more sophisticated models and larger datasets. A recent promising direction for reducing training cost is dataset condensation that aims to replace the original large training set with a significantly smaller learned synthe..

🙏 마지막 제출할 때 간절한 기도 메타. 하게 됩니다. . . ' 제발 .. 넘어라 넘어라! ' 하는데 77점 뜨는 짜릿함 . 상상 이상으로 통과하기 어려웠음 . (차라리 코딩 과제 + 수식 시험이 나아요 😇) ✍️ 스토리텔링 형식으로 나오는 문제라서 읽고 이해하는 것만으로도 시간이 많이 걸렸다. . 재시험만 한 시간 친 듯 ? 그래도 무사히 수료해서 다행입니다 ^^_ 4주차 start :)

Transfer Learning (전이학습) 전이학습 - 특정 task에 맞춰 학습시킨 네트워크 -> 다른 task에 적용 last layer를 변경 경우에 따라 여러 layer를 덧붙일 수도 있다 어떠한 경우에 사용하는가? 상대적으로 적은 데이터를 가진 task에 대하여 풍부한 데이터를 가진 task로 우선 학습한 이후 -> knowledge를 transfer (전이학습) 이때 기존 task보다 새로운 task의 중요도가 더 높음 Multi-task Learning one image can have multiple label 이 방법보다는, 전이학습이 더 많이 사용된다. 하나의 네트워크로 여러 태스크를 정의하는 것이 어렵기 때문에 What is End-to-end Deep Learning? enough..

Carrying Out Error Analysis error 중 dog가 차지하는 비율이 크지 않을 때 강아지가 찾이하는 비율이 50%였다면, dog에 focus를 맞추어 문제를 해결하는 것이 효과적일 수 있다 다양한 카테고리의 에러 원인이 있다 높은 비율의 원인 (great cats와 blurry에 focus하여 해결할 수 있다.) -> error의 주 원인을 분석할 수 있다. Cleaning Up Incorrectly Labeled Data 딥러닝 알고리즘은 1) random error에는 강인하지만 2) system error에는 취약하다 만약 incorrectly labeled error가 큰 영향력을 준다면 -> 고쳐라 아니라면? (적은 비율이라면) 추천하지 않음 이런 상황에서는? 잘못 레이블 ..

Orthogonalization 이게 어떻게 ML과 연관이 있는가? Single Number Evaluation Metric precision (정밀도) : cat으로 판별된 것 중 실제 cat의 비율 recall (재현율) : 실제 cat 중 제대로 분류된 것의 비율 A와 B중 어떤 분류기가 더 좋은가? Satisficing and Optimizing Metric cost func에 다양한 의도를 담을 수 있다 accuracy - 높을수록 좋음 (optimize) running time - 100ms 이하이기만 하면 됨 (satisfied) + 음성 신호의 100ms를 의미! Train/Dev/Test Distributions 두 set이 같은 분포를 가질 수 있도록 randomly sampling S..

https://github.com/VICO-UoE/DatasetCondensation GitHub - VICO-UoE/DatasetCondensation: Dataset Condensation (ICLR21 and ICML21) Dataset Condensation (ICLR21 and ICML21). Contribute to VICO-UoE/DatasetCondensation development by creating an account on GitHub. github.com 돌려볼 모델은 이 아이였습니다. . . 까먹기 전에 명령어 정리 ✍️ conda init conda list conda env list conda activate pythorch1.12.1_p38 source ~/.bashrc v..

Abstract Keywords: scene representation, view synthesis, image-based rendering, volume rendering, 3D deep learning We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non- convolutional)..

Softmax Regression softmax fuction exponential들의 summation으로 나누어준다 더욱 극대화하는 효과가 있다 softmax activation func Training a Softmax Classifier