Why look at case studies? Classic Networks LeNet - 현재는 1000배 이상 더 많은 params - layer가 진행될수록 nh, nw는 줄어들고, nc (채널의 수)는 증가하는 구조 - conv와 pooling이 번갈아가면서 수행된다. (풀링 진행할 때는 채널 수 유지) - 채널의 수 == 이전 레이어의 필터 수 - 끝단에 softmax activation func을 활용하여 y' target 예측 AlexNet - LeNet과 유사한 구조이나, 훨씬 더 크다 (params 1000배 증가) - ReLU activation func 활용 - multiple GPU 병렬처리 - Local Response Normalization (LRN) 활용 -> 한 pixel ..

Computer Vision CV 이미지 처리의 문제 input (image)의 차원이 매우 크다 (3 channel까지 고려) 더 높은 해상도의 이미지일수록, 상대적으로 데이터 수가 부족하여 오버피팅 날 확률 높아짐 Edge Detection Example edge의 개념 Convolution 연산의 의의 (과정) 프레임워크 별 conv 연산을 수행하는 각각의 연산이 존재한다 (method 이름은 다름) 왜 세로 방향 edge를 detect 하는가? 반은 밝고 (값이 크고), 반은 어두운 이미지를 생각해보자 이때 vertical filter를 활용하면 (이미지 변화를 검출하는 것) 좌우 변화를 detect 한 부분은 +30으로 밝게 표현된다 따라서 경계선 (세로 줄 부분)이 다음 단계에서는 밝은 값으로..

🙏 마지막 제출할 때 간절한 기도 메타. 하게 됩니다. . . ' 제발 .. 넘어라 넘어라! ' 하는데 77점 뜨는 짜릿함 . 상상 이상으로 통과하기 어려웠음 . (차라리 코딩 과제 + 수식 시험이 나아요 😇) ✍️ 스토리텔링 형식으로 나오는 문제라서 읽고 이해하는 것만으로도 시간이 많이 걸렸다. . 재시험만 한 시간 친 듯 ? 그래도 무사히 수료해서 다행입니다 ^^_ 4주차 start :)

Transfer Learning (전이학습) 전이학습 - 특정 task에 맞춰 학습시킨 네트워크 -> 다른 task에 적용 last layer를 변경 경우에 따라 여러 layer를 덧붙일 수도 있다 어떠한 경우에 사용하는가? 상대적으로 적은 데이터를 가진 task에 대하여 풍부한 데이터를 가진 task로 우선 학습한 이후 -> knowledge를 transfer (전이학습) 이때 기존 task보다 새로운 task의 중요도가 더 높음 Multi-task Learning one image can have multiple label 이 방법보다는, 전이학습이 더 많이 사용된다. 하나의 네트워크로 여러 태스크를 정의하는 것이 어렵기 때문에 What is End-to-end Deep Learning? enough..

Carrying Out Error Analysis error 중 dog가 차지하는 비율이 크지 않을 때 강아지가 찾이하는 비율이 50%였다면, dog에 focus를 맞추어 문제를 해결하는 것이 효과적일 수 있다 다양한 카테고리의 에러 원인이 있다 높은 비율의 원인 (great cats와 blurry에 focus하여 해결할 수 있다.) -> error의 주 원인을 분석할 수 있다. Cleaning Up Incorrectly Labeled Data 딥러닝 알고리즘은 1) random error에는 강인하지만 2) system error에는 취약하다 만약 incorrectly labeled error가 큰 영향력을 준다면 -> 고쳐라 아니라면? (적은 비율이라면) 추천하지 않음 이런 상황에서는? 잘못 레이블 ..

Orthogonalization 이게 어떻게 ML과 연관이 있는가? Single Number Evaluation Metric precision (정밀도) : cat으로 판별된 것 중 실제 cat의 비율 recall (재현율) : 실제 cat 중 제대로 분류된 것의 비율 A와 B중 어떤 분류기가 더 좋은가? Satisficing and Optimizing Metric cost func에 다양한 의도를 담을 수 있다 accuracy - 높을수록 좋음 (optimize) running time - 100ms 이하이기만 하면 됨 (satisfied) + 음성 신호의 100ms를 의미! Train/Dev/Test Distributions 두 set이 같은 분포를 가질 수 있도록 randomly sampling S..

Softmax Regression softmax fuction exponential들의 summation으로 나누어준다 더욱 극대화하는 효과가 있다 softmax activation func Training a Softmax Classifier

Normalizing Activations in a Network normalize를 통해 수렴 속도를 향상시킬 수 있다. 이때 normalize의 대상은 a가 아닌, z인 경우가 더 많다. (활성화 함수 통과한 이전의 값을 normalize) 선형 변환을 위한 감마와 베타는 Learnable params이다! 감마와 베타 Fitting Batch Norm into a Neural Network z와 a를 계산하는 사이에 들어간다 tf.nn.batch_normalization 한 줄의 코드로 구현할 수 있다 Why does Batch Norm work? batch norm은 input의 distribution이 변하는 것을 막아준다 speed up learning 초기 층들의 params update 전..

Tuning Process 왜냐하면 params 별 (축 별) 중요도가 다르기 때문 섬세한 정도가 달라야 하는데, grid는 모두 동일하게 다루기 때문 random하게 보는 것이 더 좋다 Using an Appropriate Scale to pick Hyperparameters 다음과 같이 베타가 분모에 들어갈 경우, 단순한 델타값 이상의 중요도가 있다 (sensitivity) Hyperparameters Tuning in Practice: Pandas vs. Caviar 작은 setting / computational 으로 하나의 model을 평가 vs 다양한 모델, 다양한 setting을 병렬적으로 처리 판다식 vs 캐비어