[GoogleML] Transfer Learning & End-to-end Deep Learning

 

 

 

Transfer Learning (전이학습)

전이학습 - 특정 task에 맞춰 학습시킨 네트워크 -> 다른 task에 적용

last layer를 변경

 

 

 

경우에 따라 여러 layer를 덧붙일 수도 있다

 

 

 

어떠한 경우에 사용하는가?

상대적으로 적은 데이터를 가진 task에 대하여

풍부한 데이터를 가진 task로 우선 학습한 이후 -> knowledge를 transfer (전이학습)

이때 기존 task보다 새로운 task의 중요도가 더 높음 

 

 

 

어떤 상황에서 전이학습이 유용한가?

 

 

 

Multi-task Learning

 

 

 

multi task learning

one image can have multiple label

 

 

 

 

 

 

언제 multi task learning이 유용한가?

이 방법보다는, 전이학습이 더 많이 사용된다.

하나의 네트워크로 여러 태스크를 정의하는 것이 어렵기 때문에 

 

 

 

What is End-to-end Deep Learning?

통째학습 (end to end learning)

 

 

 

 

 

 

enough data가 있다면 -> end to end approach 적용 가능 

 

 

 

input에서 output으로 바로 mapping 

중간 처리 단계 없이 -> end to end learning

(더 많은 데이터가 모인 경우에)

 

 

 

Whether to use End-to-end Deep Learning

End to end learning의 장단점

 

 

 

내가 원하는 X -> Y mapping이 무엇인지, 어떠한 태스크에 의존하는지 파악해야한다