transfer learning(2)
-
[GoogleML] Practical Advice for Using ConvNets
Using Open-Source Implementation git-hub์ ํตํด repo ๋ค์ด๋ก๋ ๋ฐ๊ธฐ ์คํ์์ค๋ก ๊ตฌํ๋ ๋คํธ์ํฌ ๋ค์ด๋ฐ๊ธฐ Transfer Learning ๋๊ฒฐ๋ฐฉ์ training set ๋ฐ์ดํฐ ์๊ฐ ๋ถ์กฑํ ๋, ์ด๋ฏธ ํ์ต๋ ๋คํธ์ํฌ์์ ๋ท๋จ softmax ๋ถ๋ถ์ ์ ๊ฑฐ new ๋ถ๋ฅ๊ธฐ๋ฅผ ๋ถ์ฌ์ ํ์ต์ํจ๋ค. ์์ ๋คํธ์ํฌ๋ freeze (์ ํ์ต๋ weight๋ฅผ ๊ทธ๋๋ก ์ฌ์ฉ) training์ด ์กฐ๊ธ ๋ ๋ง๋ค๋ฉด ๋ ๋ง์ layer๋ฅผ ํ์ตํ ์ ์๋ค freeze layer๋ฅผ ์ค์ผ ์ ์๋ค open source ์ด๋ฏธ ํ์ต๋ weight๋ฅผ ๋ค์ด๋ก๋ ๋ฐ๊ณ , ์ํ๋ ๋ถ๋ถ๋ง ์ ํ์ ์ผ๋ก ํ์ต์ํฌ ์ ์๋ ์ ์ด ํ์ต large computational cost๋ฅผ ์ค์ผ ์ ์๋ค Data Augmentation..
2023.10.07 -
[GoogleML] Transfer Learning & End-to-end Deep Learning
Transfer Learning (์ ์ดํ์ต) ์ ์ดํ์ต - ํน์ task์ ๋ง์ถฐ ํ์ต์ํจ ๋คํธ์ํฌ -> ๋ค๋ฅธ task์ ์ ์ฉ last layer๋ฅผ ๋ณ๊ฒฝ ๊ฒฝ์ฐ์ ๋ฐ๋ผ ์ฌ๋ฌ layer๋ฅผ ๋ง๋ถ์ผ ์๋ ์๋ค ์ด๋ ํ ๊ฒฝ์ฐ์ ์ฌ์ฉํ๋๊ฐ? ์๋์ ์ผ๋ก ์ ์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง task์ ๋ํ์ฌ ํ๋ถํ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง task๋ก ์ฐ์ ํ์ตํ ์ดํ -> knowledge๋ฅผ transfer (์ ์ดํ์ต) ์ด๋ ๊ธฐ์กด task๋ณด๋ค ์๋ก์ด task์ ์ค์๋๊ฐ ๋ ๋์ Multi-task Learning one image can have multiple label ์ด ๋ฐฉ๋ฒ๋ณด๋ค๋, ์ ์ดํ์ต์ด ๋ ๋ง์ด ์ฌ์ฉ๋๋ค. ํ๋์ ๋คํธ์ํฌ๋ก ์ฌ๋ฌ ํ์คํฌ๋ฅผ ์ ์ํ๋ ๊ฒ์ด ์ด๋ ต๊ธฐ ๋๋ฌธ์ What is End-to-end Deep Learning? enough..
2023.09.30