SohyeonKim(349)
-
[SK Tech Summit 2023] Day1 - NLP Coffee Chat
๋ฌด๋ ค ์ด์ ์์ฑ๋ ๋ฐ๋ํ ์์ด . . . ๐ ์ง์ ์ข ๋ง๋ค์ด๋๊ฑธ ์ฝ์์ค ์ ๊ตฌ์์ ๋ช ์ฐฐ ๋ฐ๊ตฌ์ ๐ฌ 2:40 ~ 3:20 ๐ญ ์ง๋ก ๊ด๋ จ ๊ณ ๋ฏผ๋ค๋ ์๋ดํด๋ณด๊ณ ๋ ๋ด๊ฐ ๊ฐ๊ณ ์๋ ์๊ฐ๋ค์ ๋ํด์๋ ๋์๋ณผ ์ ์๋ ์๊ฐ์ด์ด์ ์ข์์ต๋๋ค :) ์ ๊ทธ๋ฆฌ๊ณ ๊ฐ์ ธ๊ฐ๋ ์ด๋ ฅ์๋ ํฌํด๋ ๊ฒํ ๋ฐ์๋ณผ ์ ์์ด์ ์งฑ์ด์์ ์ ์ตํ ์๊ฐ์ด์์ต๋๋ค. ๐จ๐ง ์ฌํผ์จ (AI ๋ฐ๋์ฒด) ๊ณต๊ฐ๊ฐ ์ค๋์ด๋ผ๊ธธ๋ ๊ทธ๊ฑฐ ๋ค์ด๋ณด๊ณ ์ถ์๋๋ฐ, ๋ด๋ถ ๋ถ์ค๋ ๊ฐ์ฐ๋ ํ๋๋ ๋ชป๋ณด๊ณ ๋์์ ์กฐ๊ธ ์์ฌ์ ๋ค. . ๐ฅฒ
2023.11.20 -
[Computer Network] Chap7. Network Layer (2)
Chap 7. Network Layer (2) * softwarization – 2010๋ ๋ ์ดํ, ์ํํธ์จ์ด ์ค์ฌ - IP์ ์ค๊ณ ์ฒ ํ: ๋์ฅ์ ์์ ์ (for ์ ์) / ์ง๊ธ์ ์๋น์ค ์ค์ฌ – manage control์ด ํ๊ณ ์ถ๋ค -> ๋์ฅ ๋ถํ - ๋ฉ์ฒญ๊ตฌ๋ฆฌ ํ๋์จ์ด ์์, ๊ธฐ์กด์ OSI 1~4 ๊ณ์ธต์ ๊ฐ์ํ -> ์ธ๊ฐ์ด ๋คํธ์ํฌ๋ฅผ ์ปจํธ๋กค -> ์ค์ผ์คํธ๋ ์ด์ , AI - ์๋ก์ด ๋คํธ์ํฌ ๊ธฐ์ ๋ค ๋ฆฌ๋ ์ค ํ์ด๋ฐ์ด์ ์ฐํ / ๋ผ์ฐํ ์คํ์์ค ์ํํธ์จ์ด * ์๋ฆญ์จ -> 2004 / 2014 -> ์ฐ๋ฆฌ๋ ๋์ด์ ํ๋์จ์ด๋ก ๋์ ๋ฒ๊ณ ์์ง ์๊ตฌ๋. - ๋ชจ๋ ์ ํ์ ๊ฐ์ํ / ์ฌ์ฉํ ๋งํผ ๋์ ๋ด์ / by ๋ฆฌ๋ ์ค ์ด์์ฒด์ ์ ์ธํ CPU์ ๋ณด๊ธ์ผ๋ก ๊ฐ๋ฅํด์ง ์ด์ผ๊ธฐ 1. ์ด๋ํต์ ๊ธฐ์ง๊ตญ 2. ์ฐ๋ฆฌ๊ฐ ์ฐ๋ ๋ ธํธ๋ถ, ..
2023.11.13 -
[Computer Network] Chap6. Network Layer (1)
Chap 6. Network Layer (1) - ๋คํธ์ํฌ ๊ฐ์ IP ๊ธฐ๋ฐ ์ฐ๊ฒฐ -> inter + networking -> ์ธํฐ๋ท - 3๊ณ์ธต๋ถํฐ๋ Node ๋์ host๋ผ๋ ์ฉ์ด๋ฅผ ํ์ฉ -> host to host -> ๋ณธ์ธ์ด ์ํ๋ Destination๊น์ง ์ฌ๋ฌ ์ค๊ณผ ์ฅ๋น๋ค์ ํต๊ณผํ์ฌ ์ ๋ณด๋ด๋ ๊ฒ * ๋คํธ์ํฌ ๋ ์ด์ด์ ๊ฐ์ฅ ์ค์ํ ๋ ๊ฐ์ง ์ญํ 1) Packetizing – ํจํท์ ๋ง๋๋ ๊ฒ 2) Routing – destination์ผ๋ก ํจํท์ ๋ณด๋ด๋ ๊ฒ – input์ด destination์ IP ์ฃผ์ (ํจํท์ ์ ๋ณด) -> ์ด ํค ๊ฐ์ด ๋งค์น๊ฐ ๋๋ฉด -> output ์ด๋ ์ค๋ก ๋ด๋ณด๋ผ ์ง ๊ฒฐ์ * Datagram vs Virtual Circuit 1. Datagram _ ์ดํ User Define..
2023.11.13 -
[Computer Network] Chap4. MAC/DLC
Chap 4. MAC/DLC : ์ด๋๋ท, ์์ดํ์ด, ๋ธ๋ฃจํฌ์ค, ๋ก๋ผ 1. Ethernet _ ์ ์ _ IEEE 802.3 - ์๋๋ LAN์ ์ํด ๋ฑ์ฅ -> ์ดํ MAN, WAN์ผ๋ก ํ์ฅ๋จ - ์ ๋ก์ค ํ์ฌ์์ ๋ง๋ ๊ธฐ์ ์ด ๊ตญ์ ํ์ค์ด ๋จ / ์ ์ ํต์ ์์๋ ๋ชจ๋ ์ด๋๋ท์ผ๋ก ํต์ผ๋จ – ์ธ๊ณ ๊ณ ์์ผ๋ก ๋ณด๋ด๊ธฐ ์ข๋ค – ์ค์ ์์ชฝ, ์ค๋ฅธ์ชฝ ์ ๊ฐ ๋ ์ ์ ์ผ๋ก ์ฌ์ฉ - ์ฒ์์ 10MB/s์์ 400GB/s๊น์ง ๋ฐ์ ๋์๋ค. - CSMA/CD ๊ธฐ๋ฐ + backward compatibility ์ข์ – 40๋ ๋์ ๋ถ๋ณํ๋ frame architecture - ์ด๊ธฐ์๋ ๋ฒ์ค topology (CSMA/CD) -> ์ดํ star topology (์ฃผํ์ ๋ถ๋ฆฌ, ์ถฉ๋ ๋ ์ผ ๊ฑฐ์ X) -> CSMA/CD ์ฌ์ฉํ์ง ์๋ ๋ฐฉํฅ์ผ๋ก..
2023.11.13 -
[Computer Network] Chap3. DLC Layer
Chap 3. DLC Layer - 2๊ณ์ธต์ ์๋จ, DLC / ๋ฌด์ ๋ & ์ ์ ๋์ DLC๊ฐ ์๋ค. ์ด๋ ํต์ ์ MAC๊ณผ DLC ๋ ๋ค O - ์๋ฌ ๊ฒ์ถ ๋ฐ ๋ณต๊ตฌ – dedicate & broadcast ๋ ๊ฐ์ง ๋ฐฉ์์ด ์๋ค. 1) framing – ๋ฉ์ธ์ง์ ํํ์ ์ธก๋ฉด / 2) ํ๋ฆ ์ ์ด – ์ฅ๋น์ ์ฑ๋ฅ ์ฐจ์ด ๋ฑ / 3) ์๋ฌ ๊ฒ์ถ ๋ฐ ๋ณต๊ตฌ * framing – ๋ณด๋ด๊ณ ์ ํ๋ ๋ฐ์ดํฐ๋ฅผ ์ผ์ ๊ธฐ์ค์ผ๋ก ๋๋ / 3๊ณ์ธต์ด ๋ณด๋ธ ๋ฐ์ดํฐ์ DLC๊ฐ ์ถ๊ฐํ ๋ฐ์ดํฐ๋ฅผ ๋ํจ - ์๋ฌ ๊ฒ์ถ ๋ฐ ๋ณต๊ตฌ์ ๋ํ ์ถ๊ฐ์ ์ธ ์ ๋ณด / character (byte) ๋จ์ vs bit ๋จ์ 1. Character oriented protocol - flag๊ฐ ๋จ๋ ์๊ฐ, ์ง๊ธ๋ถํฐ๋ ๋ฉ์ธ์ง๋ฅผ ๋ฐ๋๋ค! -> ์ฌ์ฉ์ ๋ฐ์ดํฐ์ ์ ๋ค๋ก ..
2023.11.13 -
[Computer Network] Chap2. MAC Layer
Chap 2. MAC Layer - 1๊ณ์ธต physical layer๋ ๋ค๋ฃจ์ง X / 2๊ณ์ธต ๋ฐ์ดํฐ ๋งํฌ๋ MAC๊ณผ DLC๋ก ๋๋๋ค. - MAC: medium access control - message – ์ก์ ๋จ์์ ์์ ๋จ์ผ๋ก ์ ๋ฌํ๋ ์ ๋ณด / sender – ๋ณด๋ด๋, ์ก์ ๋จ ์ปดํจํฐ / receiver – ๋ฐ๋, ์์ ๋จ - medium์ ํตํด ์ผ๋๊ฐ ๋ฉ์ธ์ง๋ฅผ ๋ณด๋ธ๋ค (์ ์ or ๋ฌด์ ) - protocol – ๋ฉ์ธ์ง์ ํํ, ์ผ๋์ ๋ฆฌ์๋ฒ์ ๋์์ ์ ์ํ ๊ท์ฝ๋ค / ํต์ ์ ์ด๋ ํ CPU๋ฅผ ์ฐ๋ ์๊ด ์์ด ๋์ผํ๊ฒ, ์ผ๋๊ฐ ๋ฆฌ์๋ฒ์๊ฒ ๋ณด๋ผ ๋, ์ ๋ณด์ ํํ์ ๊ตฌ์ฑ์ ์ ์ํด์ผ ํจ. * Data flow direction – ์ ๋ณด๋ฅผ ์ฃผ๊ณ ๋ฐ๋ ๋ฐฉํฅ ๋ณ ๋ช ์นญ 1) simplex – ์ผ๋ฐฉ์ ์ผ๋ก ๋ณด๋ด๋ ๊ฒ / ์ผ๋..
2023.11.13 -
[Computer Network] Chap 1. Introduction
Chap 1. Introduction ์ปดํจํฐ ๋คํธ์ํฌ – ์ปดํจํฐ๋ค์ ์ ๋ฌด์ ์ค๋ก ์ฐ๊ฒฐํ๋ ๊ฒ (์ข ๋จ์ ์ปดํจํฐ, ๋๋ฐ์ด์ค) PC, ์๋ฒ ์ปดํจํฐ ๋ฐ ์๋ก์ด ์์ง์ด๋ ๋๋ฐ์ด์ค๋ค ๋ชจ๋ ํ๋ก๊ทธ๋จ์ด ๊ฐ๋ฅํ๊ณ (CPU) ๋คํธ์ํฌ๋ก ์ฐ๊ฒฐ -> ์ปดํจํฐ๋ค ๊ณผ๊ฑฐ ์ปดํจํฐ ๋คํธ์ํฌ – ์ ๋ฌด์ ์ค ์ฐ๊ฒฐ, ํ๋์จ์ด ์ฐ๊ฒฐ์ ์ค์์ ํ์ฌ ์ปดํจํฐ ๋คํธ์ํน – ์ํํธ์จ์ด๋ฅผ ํตํ ๋ ผ๋ฆฌ์ ์ธ ์ฐ๊ฒฐ์ด ๋ ์ค์ํด์ง (ex) software defined networking) + 4์ฐจ ์ฐ์ ํ๋ช – ๊ณต์ฅ์ ๋ก๋ด๋ค์ด ๋ชจ๋ ์ฐ๊ฒฐ, ๋์ ์ผ๋ก ๊ด๋ฆฌ, ์๋์ฐจ ๋๋ก ๋ธ๋ฃจํฌ์ค ๋ชจ๋ ์ฐ๊ฒฐ๋๋ค. # Open System Interconnection (OSI 7๊ณ์ธต) ์ปดํจํฐ ๋คํธ์ํน์ ๊ฐ์ฅ ์ค์ํ ์์น, ๋ ์ด์ด๊ฐ ๋์์๋ก ์ฌ์ฉ์์๊ฒ ๊ฐ๊น์ด ๊ฒ ์ข์ฐ – ๋๋ฑํ, ๋ณต์กํ,..
2023.11.13 -
[GoogleML] Coursera ์๋ฃ ์๋ฃ! ๐ฅณ
๐ง ์ํ ๊ธฐ๊ฐ์ด ๊ฒน์น๋ ๋ฐ๋์ ์ต์ด๋ก . . ๋ง๊ฐ์ผ์ over ํ์ต๋๋ค. I am ๋ฐ๋ณด . ์์ ๐ ์บ๊ธ๊น์ง ์ ๋ง์ณ์ ๊ตฌ๊ธ ๋ถํธ์บ ํ ์๋ฃ๊น์ง , , (๋ฉฐ์น ์๋จ์๋ฐ ^^_ ; ; )
2023.10.31 -
[GoogleML] Transformer Network (Final)
Transformer Network Intuition // ๊ตฌ๊ธ ๋ง์ง๋ง ๊ฐ์! :) ๊ธฐ์กด์ sequence ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๋ฐฉ์๊ณผ ๋ฌ๋ฆฌ, parallelํ๊ฒ ์ฒ๋ฆฌ + ๋ ๊ฐ๋ ์ด ์ค์ํ๋ค (self-attention, multi-head attention) Self-Attention Query, Key, Value ์ธ๊ฐ์ง ๊ฐ์ด ์ค์ + softmax ์์๊ณผ ์ ์ฌํ๋ค ์๋ฅผ ๋ค์ด, q3์ด what's happen in there(์ํ๋ฆฌ์นด) ๋ผ๋ฉด, q3๊ณผ k1 -> ํด๋น ์ง๋ฌธ์ ๋ํ ๋ต์ด jane์ธ ๊ฒ (person) q3๊ณผ k2 -> ํด๋น ์ง๋ฌธ์ ๋ํ ๋ต์ด visit์ธ ๊ฒ (action) ๋ฑ๋ฑ dot product attention์ด๋ผ๊ณ ๋ถ๋ฆฌ๊ธฐ๋ ํ๋ค. ์ ์ key, value, query + ์ดํ ์ Mult..
2023.10.30 -
[GoogleML] Sequence Models & Attention Mechanism
Basic Models input ํ๋์ค ๋จ์ด๋ค์ ๋ฐ๋ ๋ถ๋ถ -> ์ธ์ฝ๋ output ์์ด ๋จ์ด๋ค์ ์ถ๋ ฅ -> ๋์ฝ๋ + ์ถฉ๋ถํ ์์ input / output ๋จ์ด ์๋ค์ด ์๋ค๋ฉด, ํด๋น ๊ตฌ์กฐ๋ working ๋ง์ด ๊ธธ์ง ์์ ๋ฌธ์ฅ์ output์ผ๋ก ๋ธ๋ค๋ฉด image captioning๋ ๊ฐ๋ฅ sequence to seq image to seq Picking the Most Likely Sentence condition์ผ๋ก ํ๋์ค์ด ๋จ์ด๊ฐ ๋ค์ด์์ ๋, ์๋จ์ด์ ํ๋ฅ ์ ์์ธกํ๋ ๊ฒ -> conditional probablity ๋๋คํ๊ฒ ๋ฝ์๋ด๋ค๊ฐ๋ ์ด์ํ ๋ฌธ์ฅ์ ๋ง๋ค ์ ์๋ค. ๋ฐ๋ผ์ ํ๋ฅ ๊ฐ์ ์ต๋ํํ๋ ๋ฌธ์ฅ์ ์์ธกํ๋ ๊ฒ์ด ์ ํฉํจ ๋ฐ๋ผ์ most likely english sentence ์ ๋ฌธ์ฅ์ด ๋..
2023.10.30