[GoogleML] Object Detection

 

 

 

Object Localization

하나의 객체만 detect vs 여러 객체 detect (multiple)

 

 

 

bounding box에 대한 값을 classifier에 추가

중심 point 위치 + 높이 + 너비 -> 4개의 parameter

 

 

 

Pc -> object가 존재하는가? 

있다면 bounding box 정보 + 다른 class들이 있는지에 대한 C 값들 

없다면 (Pc가 0이라면) 

다른 레이블들은 다 상관 X (Don't cares) 

 

 

 

y1이 1이라면 

MSE처럼 에러 (loss) 값 계산 

y1이 0이라면 (없다면)

don't care 

 

+ classification + localization까지 할 수 있도록 

-> by bounding box 정보도 추가 

 

 

 

Landmark Detection

눈의 위치를 랜드마크로 잡고 표현할 때, 

필요한 point들을 노드로 잡을 수 있다 

각각의 레이블에 정보로 들어감

 

 

 

사람의 포즈를 구조화할 때, 

랜드마크를 몇 포인트로 잡아서 표현 가능하다

ex) 32개의 포인트 (랜드마크)로 표현

 

 

 

Object Detection

 

 

 

점차 윈도우 크기를 늘려가면서 sliding 

car를 포함했는지 아닌지 판단해가며, 키워간다 

stride를 너무 작게 잡으면, sliding 매우 많이 해야한다 -> cost 큼

 

 

 

Convolutional Implementation of Sliding Windows

Fully Connected layer 대신 convolution layer를 활용할 수 있다 (끝부분에서)

 

 

 

sliding window -> 점차 창의 크기가 넓어진다 

14 -> 16으로 커진 이유! 

+ FC라고 표기된 부분은 FC가 아니라, FC 대체하는 Conv로 이해하면 된다 

 

 

 

 

 

 

bounding box의 정확도가 떨어질 수 있다 -> 개선법 다음 비디오에서 . . . 

 

 

 

Bounding Box Predictions

정해진 delta만큼의 sliding window로는 차를 정확히 담는 bounding box를 얻을 수 없다 

 

 

 

보라색 영역의 경우, 가운데에 잡히는 target이 없다. 

따라서 Pc가 0이고, 나머지는 don't care -> 다 ?가 들어감

연두색과 노란색은 center에 객체가 잡힌 것

 

C1 C2 C3 -> 보행자 / 차 / 오토바이 

4개의 b -> 바운딩 박스의 좌표, 너비 높이 의미

 

따라서 우리의 target output은 

grid (3 * 3) * 8 (한 그리드 칸 당 y, label 벡터) -> 72

 

 

 

input dim = 100 * 100 * 3 (pixel)

train이후, test 단계에서, output y에 대하여 

우선 첫번째 Pc가 1인 것만 골라서, (객체가 있다는 뜻)

bx by bh bw를 가져오면 bounding box가 된다! 

 

object의 mid point가 있는 grid에 그 객체가 있다고 할당

그리드의 차원이 3 -> 19로 늘어난다면

하나의 그리드에 두 객체가 들어갈, 겹칠 확률이 줄어든다 (당연함)

 

 

 

모두 하나의 grid에 대한 상대적인 위치, 값으로 표현된다 

이때, center의 상대적인 위치를 나타내는 bx, by는 1보다 작은 값이어야 하지만,

box의 bh, bw의 경우 1을 넘을 수도 있다 (하나의 grid를 튀어나갈 수도 있으니까) 

 

 

 

Intersection Over Union

IoU -> Intersection over union

겹치는 영역 / 둘을 합한 영역의 비율 

1에 가까울수록 모두 겹치는 것이니 더 정확한 것 

일반적으로 0.5보다 높으면 correct (그냥 사람이 정한 것, 더 엄격하게 해도 0.6,7 괜찮다)

 

 

 

Non-max Suppression

차의 center가 포함된 그리드는 희박하지만, 

객체가 포함된 그리드는 더 많다

 

 

 

Pc -> 객체가 탐지될 확률

IoU가 가장 높은 것을 선택하게 됨 (오른쪽 차의 경우 0.9)

 

 

 

Pc가 0.6보다 낮은 박스들은 다 버리고 

가장 큰 Pc를 가진 박스를 예측으로 고른다

 

 

 

Anchor Boxes

두 anchor box에 대한 정보를 하나로 합쳐서 y가 2배 길어짐

 

 

 

 

 

 

사람 차 둘 다 있을 때 / 차 만 (사람 돈케어)

만약 앵커박스는 2개, 객체는 3개라면? -> 잘 못 다룰것

 

 

 

YOLO Algorithm

 

 

 

 

 

 

우선 각 그리드마다 2개씩 바운딩 박스를 생성

 

 

 

낮은 확률을 지닌 예측들은 지운다

 

 

 

non-max surppression -> 최종 예측 선택

 

 

 

Region Proposals (Optional)

Region CNN 

segmentation을 다루는 R-CNN

시간이 많이 소요되어(slow), 줄이는 것이 중요하다 (fast)

 

 

 

속도를 향상시키기 위한 발전들

 

 

 

Semantic Segmentation with U-Net

모든 픽셀에 대해

 

 

 

의료 데이터에 많이 활용된다

 

 

 

차라면 1 아니면 0

 

 

 

모든 픽셀에 레이블링

예측할 것이 매우 많아진 것

 

 

 

작게 줄인 이미지 (피처맵) -> 다시 크기를 키운다!

Transpose conv를 통해 이를 구현할 수 있다 :)

 

 

 

Transpose Convolutions

픽셀을 줄여나가는 conv와 달리

역으로 픽셀 수를 늘리는 transpose conv

 

 

 

어떻게 4* 4를 채울 수 있을까?

역으로 큰 conv로 곱해서 키운다

 

 

 

빗금 친 패딩 지역은 무시하고, 흰 곳에만 값을 채운다

 

 

 

stride를 2로 주어서 옮겼다

겹치는 칸은 값을 더해준다

 

 

 

hmm

근데 왜 padding의 왼쪽 위로만 스치게 되는걸까? 

우측 하단은 회색 패딩 필요없는 것 아닌가? 

 

 

 

U-Net Architecture Intuition

U Net 구조에서 skip connection

1. 이전 layer를 통한 (추상화된, 낮은 해상도의) 객체 위치 정보를 얻는다.

    low level feature information / high level - spatial info

2. 초기 layer (input과 가까운)를 통해 디테일한, 높은 해상도의 이미지 정보를 얻는다 

 

 

 

U-Net Architecture

h, w가 줄어들면서, 채널 방향은 늘어난 상황 

일반적인 conv의 구조 

 

 

 

이후 transpose conv와 skip connection을 통해 

여러 info -> h와 w를 늘려나가며 -> 마지막에 1 * 1 conv 통과

최종적으로 h * w * n_classes 차원의 prediction을 얻게된다.

각 픽셀 별 + class 정보를 담은 segmentation