Why look at case studies? Classic Networks LeNet - 현재는 1000배 이상 더 많은 params - layer가 진행될수록 nh, nw는 줄어들고, nc (채널의 수)는 증가하는 구조 - conv와 pooling이 번갈아가면서 수행된다. (풀링 진행할 때는 채널 수 유지) - 채널의 수 == 이전 레이어의 필터 수 - 끝단에 softmax activation func을 활용하여 y' target 예측 AlexNet - LeNet과 유사한 구조이나, 훨씬 더 크다 (params 1000배 증가) - ReLU activation func 활용 - multiple GPU 병렬처리 - Local Response Normalization (LRN) 활용 -> 한 pixel ..

DenseNet Abstract Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forw..

ResNet Intro Short Cut connections adding neither extra params nor computational complexity 100 ~ 1000 layers / 3.57% Conclusion 장점 아이디어가 독창적이다. 간단한 아이디어로 네트워크의 깊이를 매우 깊게 쌓았다. optimization 문제를 해결, 성능 향상 단점 왜 이러한 skip connection을 사용하면 성능이 더 잘 나오는 지 기존의 gradient descent 의 정의와 방향이 달라지지 않나? 개선할 점 다른 function들도 skip 해보기 굳이 - x, + x 되어야 하는 이유? + x, - x 순서로 진행되면 어떠한 차이가 있을지 잔차라는 개념이 어디에서 처음 나왔을까(relate..