[GoogleML] ML workflow by implementing strategy, avoidable bias

 

 

 

Orthogonalization

feature 간 연관성 (벡터 사이의 각을 수직으로!)

이게 어떻게 ML과 연관이 있는가? 

 

 

 

주어진 문제 상황 속에서 여러가지 변수를 조절해보는 관점

 

 

 

각각의 문제에 대한 해결 방법들

 

 

 

Single Number Evaluation Metric

precision (정밀도)

: cat으로 판별된 것 중 실제 cat의 비율

recall (재현율)

: 실제 cat 중 제대로 분류된 것의 비율

 

 

 

A와 B중 어떤 분류기가 더 좋은가?

하나의 요소 (F1 score)를 더 추가하여 고려해보자

 

 

 

 

 

 

한번에 여러 알고리즘을 비교하려면 어렵다 -> average 새로운 메트릭으로 판단을 더 쉽게 하자

 

 

 

Satisficing and Optimizing Metric

cost func에 다양한 의도를 담을 수 있다 

accuracy - 높을수록 좋음 (optimize)

running time - 100ms 이하이기만 하면 됨 (satisfied)

+ 음성 신호의 100ms를 의미!

 

 

 

 

 

 

Train/Dev/Test Distributions

dev와 test set의 분포가 달라지는 것은 올바르지 X

두 set이 같은 분포를 가질 수 있도록 

randomly sampling

 

 

 

동일한 타겟을 대상으로 해야한다

 

 

 

 

 

 

Size of the Dev and Test Sets

과거에는 이러한 비율이 합리적이었다

하지만 현대는 X

 

 

 

백만개의 데이터 -> 1%인 10000도 충분함

 

 

 

test set 없애는 것을 추천하지 X

 

 

 

When to Change Dev/Test Sets and Metrics?

 

 

 

새로운 평가 지표를 찾아보아야 한다. evaluation metric

원래 error metric에 만족하지 못한다면, 다른 메트릭을 생각해보아라

 

 

 

1. 타겟을 설정하고 (목표를 정하고)

2. 그 타겟을 잘 맞추도록, 메트릭에 맞춘다

-> error metric은 상황에 따라 바뀔 수도 있는 것!

 

 

 

고화질의 사진으로 학습시켰을 때, A가 더 좋은 알고리즘 

그러나 유저의 사진은 흐린 화질 -> B가 더 좋은 알고리즘이 될 수 있다

이런 상황에서는 metric을 바꾸자

 

 

 

Why Human-level Performance?

베이즈 에러

x -> y mapping에서 최적의 에러 

(더 이상 좋은 값은 X)

 

 

 

사람 인식 능력과 비교하는 이유

 

 

 

Avoidable Bias

- 사람과 차이가 많이 날 때 -> 모델 학습 성능을 더 올리기 위해 노력 (bias 줄이기)

- 사람과 차이가 거의 없을 때 -> 모델 학습 성능을 검증 데이터 (valid, dev set)과 맞추기 위해 노력 (오버피팅 관점, variance 줄이기)

 

 

 

human error를 베이즈 에러와 유사하게 볼 수 있다

 

 

 

avoidable bias 와 variance의 개념!

 

 

 

Understanding Human-level Performance

베이즈 에러를 생각해보면 답이 나온다 

bayes error == human level error (0.5%) 

 

 

 

 

 

 

이전까지 0과 비교하는 bias 대신 

bayes error와 비교하는 avoidable bias (보다 현실적인 비교)

이것이 human level error의 의의 (bayes error의 approximation)

 

 

 

Surpassing Human-level Performance

여기서 avoidable bias는? (베이즈를 정의하라)

 

 

 

머신러닝 알고리즘이 human을 넘어선 경우 -> avoidable bias를 정의하기 어렵다

 

 

 

사람보다 ML 성능이 높은 경우 

- structural data

- not natural perception (사람에게 용이한 자연스러운 인지가 X)

- lots of data (사람이 한번에 파악하기 힘든 많은 데이터)

 

 

 

Improving your Model Performance

 

 

 

이전과 유사하긴 하다 

- model 성능을 더 끌어올린다

vs 오버피팅 방지