[GoogleML] Logistic Regression as a Neural Network

 

 

 

 

 

 

about 행렬 표기

 

 

 

왜 시그모이드를 취할까? (0~1 사이로 제한)

 

 

 

X0 = 1 이 notation은 여기서는 사용하지 않는다

 

W가 only parameter, nx dim vector.

b는 real number 

 

 

 

loss func - single training example에 대한 error

cost func - cost of your params (전체 데이터에 대해, Parameter W, b의 평균 에러를 의미) 

 

 

 

 

Gradient Descent 

 

 

 

slope의 기울기가 gradient

 

 

 

편미분이라면 partial / J가 단일 변수에 대한 함수라면 d를 써도 okay

slope of the function

 

 

 

Derivatives

a를 조금 증가시켰을 때, 얼만큼 함수값이 F(a)가 증가하는가? 의 관점

직선이라면 (1차 함수)

a의 값에 무관하게, 함수의 증가량은 변수 증가량의 3배 

즉 3으로 미분값이 일정하다

 

 

 

2차 함수에서는 기울기 값이 a point에 따라 변한다!

 

 

 

다양한 기울기의 도함수들

 

 

 

Computation Graph

for backpropagation

 

 

 

Derivatives with a Computation Graph

 

 

 

chain rule

 

 

 

코드 구현 시, da, dv 사용

 

 

 

순차적으로 chain rule을 적용하여 J에 작용하는 기울기를 계산한다.

 

 

 

Logistic Regression Gradient Descent

loss를 최소화하기 위한 w1, w2를 찾아라

 

 

 

dvar 표기에 대한 설명 => var가 결과에 미치는 영향력 의미 (편미분 값)

 

 

 

시그모이드 미분 수식

 

 

 

특정 wi에 대한 미분은 input i가 튀어나와서!

 

 

 

Gradient Descent on m Examples

 

 

 

하나의 값을 계산하기 위해서 위의 과정을 반복하는 것이 복잡하다 -> vectorization (행렬 연산?)

큰 data에 대해 매우 효율적으로 계산 가능! :) 

 

 

 

 

 

Quiz 탈 락 🔥

하 하핳

 

 

 

^^_ 정신 똑바로 차리고 풀자 . .