[GoogleML] Error Analysis & Mismatched Train and Test Set

 

 

 

Carrying Out Error Analysis

error 중 dog가 차지하는 비율이 크지 않을 때

 

 

 

강아지가 찾이하는 비율이 50%였다면,

dog에 focus를 맞추어 문제를 해결하는 것이 효과적일 수 있다

 

 

 

다양한 카테고리의 에러 원인이 있다

높은 비율의 원인 (great cats와 blurry에 focus하여 해결할 수 있다.)

-> error의 주 원인을 분석할 수 있다. 

 

 

 

Cleaning Up Incorrectly Labeled Data

딥러닝 알고리즘은 

1) random error에는 강인하지만

2) system error에는 취약하다

 

 

 

만약 incorrectly labeled error가 큰 영향력을 준다면 -> 고쳐라

아니라면? (적은 비율이라면) 추천하지 않음

 

 

 

이런 상황에서는?

잘못 레이블 된 에러는 무시하고 

다른 오류 원인들에 집중

 

 

 

dev set의 목적은 여러 분류기(모델) 중 더 나은 것을 찾는 것 

두번째 사례와 같이 incorrect labels로 인한 비율이 높다면, 이에 focus

 

 

 

train이 dev/test와 약간 다른 분포를 가져도 괜찮다 (다음 week에 이어서 소개될 내용)

 

 

 

Build your First System Quickly, then Iterate

어떤 문제에 focus를 맞출 것인지 정하는 것은 어렵다

-> 빠르게 타겟을 설정하고, ML system을 구축하고 (빠르게) -> 반복하라

 

 

 

Don't over-thinking

 

 

 

조언 !

 

 

 

Training and Testing on Different Distributions

가진 이미지의 대부분이 고화질의 웹 사진 

하지만 우리가 맞추어야 할 대상은 흐린 모바일 사진 (몇 장 없다)

이러한 경우 첫번째 옵션으로 둘을 합친다음에 나뉜다

단점: 대부분의 비율이 Web에 맞추어 최적화 -> 우리가 정작 집중해야할 대상인 모바일은, 적은 비율로 dev set에 나뉘게 됨

-> 따라서 추천하는 방법 X

 

 

 

두번째 옵션 

web은 train에만 / 우리의 목적은 dev, test, 일부 train -> mobile 

우리가 해결해야하는 문제가 mobile인 것은 표현할 수 있지만,

이제 train과 dev/test의 distribution이 달라져버렸다!

 

 

 

dev / test를 다른 분포에서! 

 

 

 

Bias and Variance with Mismatched Data Distributions

dev - test가 동일한 분포를 같는 것처럼,

train과 동일한 분포를 갖는 train-dev set을 만든다

(하지만 모델 학습에는 사용되지 X)

 

 

 

train-dev와 train의 차이가 많이 난다?

모델이 오버피팅 된 상태 

train-dev와 test의 차이가 많이 난다?

데이터 분포의 mismatch에 의한 오류 

 

 

 

+ human error (bayes error)와 training error의 차이 -> avoidable error (모델이 덜 학습된 상태)

 

 

 

오 , , , 

더 hierarchical한 구조로 정리된 것 같다! :)

 

 

 

 

 

 

 

 

 

이 4개 사이의 관계성

data mismatch -> 어떻게 해결? 

다음 비디오에서 배워보자! :)

 

 

 

Addressing Data Mismatch

인위적인 데이터 합성 방식을 활용할 수 있다

artificial data systhesis

 

 

 

다양한, 많은 데이터를 합성할 수 있다

 

 

 

car noise 데이터 양이 희박할 경우, 오버피팅 발생 가능 

 

 

 

data augmentation