Deep L-layer Neural Network input dim 만큼 input 노드의 수 1개의 input image에 대해, feature들의 수로 해석할 수 있다 Forward Propagation in a Deep Network 모든 training example m개를 한 번에 horizontally 표현하는 것 -> vector version Getting your Matrix Dimensions Right Why Deep Representations? input layer에 가까운 노드들은 엣지 detect (가로, 세로 방향의 low level features) 가운데 - 눈, 코 detect 마지막 - 얼굴 인식 (high level features) 오디오 인식의 경우에도, low ..

Keynote 최종 version

Dataset Condensation with Gradient Matching (ICLR 2021) Abstract As the state-of-the-art machine learning methods in many fields rely on larger datasets, storing datasets and training models on them become significantly more expensive. This paper proposes a training set synthesis technique for data-efficient learning, called Dataset Condensation, that learns to condense large dataset into a smal..

Keynote 초안

Explanation for Vectorized Implementation Activation Functions tanh는 sigmoid를 shift한 func (거의 동일) but tanh가 sigmoid보다는 조금 더 유리하다 why? -> mean이 zero에 형성 -> 통과한 이후 값들의 평균이 중앙에 분포, 더 유리 (sigmoid는 0.5) 마지막 layer에서는 sigmoid 사용 why? y는 0 or 1 따라서 출력을 0과 1 사이로 맞추려고 tanh 보다는 sigmoid gradient 기울기가 소멸되는 문제를 해결하기 위해 ReLU를 사용한다. 0이 되는 미분 불가능한 point에서는 0에 가까운 값을 대신 출력 어떠한 활성화 함수를 쓸 지 모르겠다면, ReLU를 써라 Leaky Re..

Neordinary Demoday 2023. 09. 09 토요일 @공덕 프론트원 https://demoday.neordinary.co.kr 👩‍💻 사실 UMC Demoday 인 줄 알고 먼저 신청한 행사였다. 알고보니 올해 처음으로 시작하는 별도의 데모데이였다. 너디너리 공식 웹 디자인에 팜플렛들까지 . . 디자인이 짱멋졌다 @Phd https://front1.kr 혁신성장 1번지 프론트원 프론트원은 연결과 협업을 통해 스타트업 성장을 이끌고, 혁신을 추구하는 창업자를 응원하기 위해 디캠프와 다양한 파트너들이 만든 공간입니다 front1.kr 지난 UMC / CMC 데모데이도 여기서 했답니다 :) @교보정보통신 팀플이나 공모전, 대외활동 등등 팀 프로젝트 진행할 때 파일 공유 목적으로 사용하면 유용할 것..

Neural Networks Overview Neural Network Representation Computing a Neural Network's Output Vectorizing Across Multiple Examples

최신기술콜로퀴움2 1. Virtualization 2023. 09. 08 금요일 실제 물리 메모리는 아니니까, 다시 한 번 hypervisor가 관리해주게 된다. software가 아닌, hardware 적으로 처리한다 가상 머신이 갖고 있는 메모리는 실제 물리 메모리가 아니라, 하이퍼바이저가 관리하는 메모리 물리 메모리 100G가 실제로 할당되어 있는지는, OS가 확인할 방법이 없다. 하이퍼바이저가 감추거나 속이려면 얼마든지 가능함 (가상이기 때문에) 실제로 네트워크 카드가 있는 것은 아닌데, 있는 것처럼 제공하는 것 가상의 virtual 스위치를 만들고, 이를 통해 패킷을 주고 받을 수 있음 가상 머신은 실제 디바이스라고 생각하고 access하면 밑단의 hypervisor가 대신 처리해주는 과정 OS..

지난 학기(23-1)에 들었던 기계학습, 딥러닝 수업 내용 복습하는 기분이다. 생각보다 퀴즈가 한 번에 통과하기 어려워서, 집중해서 듣고 신중하게 문제를 풀어야한다. programming 과제도 몇 개 나왔는데, 우선 동영상 강의부터 다 몰아서 듣고, 주피터 코딩 문제들은 12일 전까지 . . 따로 모아서 개발해야 될 것 같다. 수료까지 화이팅팅 (Chapter 5개 . . 남았따 🌞)

Python and Vectorization More Vectorization Examples Vectorizing Logistic Regression X의 차원은 (nx, m) nx dim vector가 m(sample)개 있다! :) 왜냐하면 x 데이터 1개를 열벡터로, 세로로 stacking 했으므로, 세로 방향으로는 성분들 (dim), 가로 방향으로는 m개의 샘플들이 진행 Vectorizing Logistic Regression's Gradient Output 벡터화 하더라도, iteration loop는 항상 필요하다. Broadcasting in Python Can you do this without explicit for-loop? A Note on Python/Numpy Vectors Qu..