[Paper reading] ResNet

 

 

 

 

 

 

ResNet Intro

• Short Cut connections
• adding neither extra params nor computational complexity
• 100 ~ 1000 layers / 3.57%

 

 

 

Conclusion

장점

• 아이디어가 독창적이다.
• 간단한 아이디어로 네트워크의 깊이를 매우 깊게 쌓았다.
  • optimization 문제를 해결, 성능 향상 

 

단점 

• 왜 이러한 skip connection을 사용하면 성능이 더 잘 나오는 지
• 기존의 gradient descent 의 정의와 방향이 달라지지 않나?

 

개선할 점

• 다른 function들도 skip 해보기
  • 굳이 - x, + x 되어야 하는 이유?
  • + x, - x 순서로 진행되면 어떠한 차이가 있을지
  • 잔차라는 개념이 어디에서 처음 나왔을까(related work)
  • 다른 간결한 수식도 많을 텐데, 왜 잔차 개념으로 선정?

 

 

 

Question 

1. 층이 깊어질 때, 발생하는 성능 저하

• degradation 
• Overfitting 문제가 아닌, optimize 문제
• 후반부에 예시 나오는데, 이 부분이 잘 이해되지 않았다.

 

2. 1000 Layer 이후의 오버피팅 발생

• Overfitting 왜 특정 층 이후 발생?
  • data에 비해 모델 크기가 매우 커져서?
  • VGGNet의 한계(19)는 오버피팅이 아닌 Optimize 문제?