[GoogleML] Deep Neural Network

 

 

 

Deep L-layer Neural Network

 

 

 

동그라미가 있는, hidden layer 수만 센다

 

 

 

input dim 만큼 input 노드의 수

1개의 input image에 대해, feature들의 수로 해석할 수 있다

 

 

 

 

 

 

Forward Propagation in a Deep Network

 

 

 

모든 training example m개를 한 번에 horizontally 표현하는 것 -> vector version

 

 

 

4개의 layer에 대해 작업이 이루어진다.

 

 

 

Getting your Matrix Dimensions Right

화질이 많이 흐리다

 

 

 

차원에 대한 이야기

 

 

 

Why Deep Representations?

왜 deep layer가 잘 작동하는가?

input layer에 가까운 노드들은 엣지 detect (가로, 세로 방향의 low level features)

가운데 - 눈, 코 detect

마지막 - 얼굴 인식 (high level features)

 

 

 

오디오 인식의 경우에도, low to high level detection

사람의 뇌도 유사한 과정으로 인식한다고 한다.

계층적인 학습이 이루어질 수 있다는 장점!

 

 

 

gate 수가 적다 (계산 복잡도가 log n) 

 

 

 

shallower networks -> 매우 많은 노드들이 필요 (지수적인 계산 복잡도)

따라서 층을 여러 개 쌓는 것이 더 효과적이다.

매우 deep하게 Layer를 쌓는 것이 최근 경향

 

 

 

Building Blocks of Deep Neural Networks

 

cache z[l]

backpropagation은 l로부터 l-1을 얻는 것이 목적이다. (derivative)

W의 (parameter)의 미분값을 알기 위해서, backpropagation!

 

 

 

forward와 backward 연산을 그림으로 파악하기

 

 

 

Z와 더불어 W와 b도 캐쉬에 저장한다

 

 

 

Forward and Backward Propagation

forward 과정

 

 

 

 

 

 

component & vector backpropagation

 

 

 

da[l]을 계산하는 수식 

code 작성보다 data에서 어려움이 오는 경우가 많다

 

 

 

Parameters vs Hyperparameters

우리가 control하는 parameter -> hyperparameter

learning rate, iter, layer num, unit num, activation func

 

 

 

가정을 하고 (idea) -> programming (Code 구현) -> 실험 결과를 통해 가설 수정 (다시 아이디어로)

implical 과정 / 처음 params 찾을 때, 특정 구간의 값들을 시도해보라

 

 

 

Clarification For: What does this have to do with the brain?

 

 

 

What does this have to do with the brain?

human brain and neural network