Byte-Pair Encoding tokenizationhttps://youtu.be/HEikzVL-lZU어떻게 토큰화의 단위가 결정되는지 알 수 있다.   + Byte-Pair Encoding (BPE) was initially developed as an algorithm to compress texts, and then used by OpenAI for tokenization when pretraining the GPT model. It’s used by a lot of Transformer models, including GPT, GPT-2, RoBERTa, BART, and DeBERTa. 1) 캐릭터 별로 모두 분리하기 2) Pair 단위로 빈도 수 count 3) 가장 많은 빈도를 보여주는 ..

Tokenization and Embedding: Science Behind Large Language Model Every input that we are providing to GPT is nothing but a token (numerical id) or a sequence of tokens. GPT doesn’t understand the language the way humans do but it just processes sequence of numerical ids, that we call tokens. But how does it find the association among words(tokens) and provide human like response, here comes the c..

🕺 어느날 갑자기 받은 메일 http://www.kiise.or.kr/academy/board/academyNewsView.fa?MENU_ID=080100&sch_add_bd=학회소식&NUM=2511 한국정보과학회 www.kiise.or.kr 🫨 뜻밖의 새해 선물 같네요 더 열심히 살겠습니다. 끄읕 🍀 📮 상장을 등기로 받았다!

📌 2023. 12. 22 금요일 https://www.kiise.or.kr/conference/KSC/2023/ 한국정보과학회 - 학술대회 홈페이지 www.kiise.or.kr 📃 부산에서 열린 학회에서 포스터 발표를 했답니다. 🔥 아침까지 마감 달리다가 후다닥 벡스코로 향했습니다. 숙소에서 횡단보도 하나 건너면 도착 🚥 🤵‍♀️(9:00 ~ 10:30) 평가하시는 교수님한테 발표하고, 피드백 받은 다음, 내 자리에 서 있으면 종종 다른 분들이 설명해달라고 오신다! 가끔은 포스터 사진도 찍어가시는데, "아아, 넵넵" 하고 가만히 서있었지만 . 사실 엄청 뿌듯했답니다 , , :) 머쓱 🏨 방도 못 치우고 나와서, 바로 숙소로 돌아가서 체크아웃 마치고 밥 먹으러 서면으로 나왔슈 ❄️ 분명 . 한겨울에도 따..

Using Open-Source Implementation git-hub을 통해 repo 다운로드 받기 오픈소스로 구현된 네트워크 다운받기 Transfer Learning 동결방식 training set 데이터 수가 부족할 때, 이미 학습된 네트워크에서 뒷단 softmax 부분을 제거 new 분류기를 붙여서 학습시킨다. 앞의 네트워크는 freeze (잘 학습된 weight를 그대로 사용) training이 조금 더 많다면 더 많은 layer를 학습할 수 있다 freeze layer를 줄일 수 있다 open source 이미 학습된 weight를 다운로드 받고, 원하는 부분만 선택적으로 학습시킬 수 있는 전이 학습 large computational cost를 줄일 수 있다 Data Augmentation..

https://github.com/VICO-UoE/DatasetCondensation GitHub - VICO-UoE/DatasetCondensation: Dataset Condensation (ICLR21 and ICML21) Dataset Condensation (ICLR21 and ICML21). Contribute to VICO-UoE/DatasetCondensation development by creating an account on GitHub. github.com 돌려볼 모델은 이 아이였습니다. . . 까먹기 전에 명령어 정리 ✍️ conda init conda list conda env list conda activate pythorch1.12.1_p38 source ~/.bashrc v..

https://platform.openai.com/examples OpenAI Platform Explore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform. platform.openai.com 👩‍💻 UI도 깔끔하고 짱 이쁘다. structure도 화면에 짜인 구조가 API JSON request에 그대로 반영되어서, 개발하기 너무 좋았다. :) 🥺 해당 화면에서 호출하는 API 코드도 그대로 보여준다. 최고다. 👍 message 구조만 조금 수정해서 colab에서 개발했다. 👩‍💻 다른 재미있는 기능들도 많은 것 같다. 프로젝트에 활용하면 정말 편하고, 빠르게 구현..

참고한 코드: https://github.com/mrzhu-cool/pix2pix-pytorch GitHub - mrzhu-cool/pix2pix-pytorch: PyTorch implementation of "Image-to-Image Translation Using Conditional Adversarial Network PyTorch implementation of "Image-to-Image Translation Using Conditional Adversarial Networks". - GitHub - mrzhu-cool/pix2pix-pytorch: PyTorch implementation of "Image-to-Image Transl... github.com network.py import ..

👩‍💻 Git-hub Link: https://github.com/SohyeonKim-dev/CycleGAN GitHub - SohyeonKim-dev/CycleGAN: 2022 HYPER cycle-GAN 공모전 2022 HYPER cycle-GAN 공모전. Contribute to SohyeonKim-dev/CycleGAN development by creating an account on GitHub. github.com 👩‍💻 느낀 점 1) 생각보다 코드 해석은 어렵지 않았다. 2) 상상 이상으로 훈련하는데 시간 많이 걸림 🤢 3) 공모전 준비로 책도 찾아 읽었는데, 처음으로 탐독해봤다. (미술관에 GAN 딥러닝 실전 프로젝트, 데이비드 포스터) 필요한 부분만 찾아서 읽고, 나머지 부분은 빠르게 ..

생성적 적대 신경망(Generative Adversarial network) https://arxiv.org/abs/1406.2661 https://thispersondoesnotexist.com https://www.youtube.com/watch?v=AVvlDmhHgC4 https://www.youtube.com/watch?v=z-LIpUX-lpc Image to image GAN 1) Pix to Pix 2) Cycle GAN 3) Conditional GAN 4) Stacked GAN 5) Information maximizing GAN 6) Super resolution GAN 7) Patch GAN 8) Pix2pixhd 논문 자료 : 윤영이의 GAN 강의