[wrtn] 뤼튼 ML 엔지니어링 세션 및 아이디어톤 운영

 

 

 

 

 

2024. 03. 22 Friday @스파크플러스 

NLP 관련 세션을 들었습니다 :)

 

 

 

 

 

😗

ML 세션과 더불어

아이디어톤 개최에 대한 설명을 해주셨는데,

막연하게 내가 어떻게 대회를 열지..? 싶은

고민들을 많이 해결할 수 있었습니다. 

방향성을 알게 된 기분. 🕺

 

 

 

🥹

운영에 대해 캠퍼스 리더 개개인에게

자유도를 많이 주신 것 같아서 좋았습니다. 

대회의 여러 부분들이 자율적으로 진행되는 만큼,

이번 기회를 통해 많이 성장할 수 있을 것 같아요. 

 

 

 

 

 

한국어 기반의 서비스에 강점을 갖는 뤼튼 agent

 

 

 

 

 

4가지 중요한 요소

 

 

 

 

 

 

전에 윤영이랑 웃기다고 봤던건데

오늘 예시로도 나와서 찍어왔습니다. 

심호흡하라고 하면 성능이 더 높게 나온다는

신박한 연구 결과가 있다고 하네요 ^^, 

 

 

 

 

 

🫨

 

 

 

 

 

👩‍💻

여러 내용 중에서 인상 깊었던 것은

한국어 LLM 연구의 어려운 점이었습니다. 

1. 우선 인터넷에 있는 자료의 양이 영어가 압도적으로 많다는 점에서, 학습할 한국어 데이터가 적다는 것

2. 한국어는 어순의 중요성이 낮아서 (너네는 안되지 이런거, 너네는 이런거 안되지, ... etc ) 단어들의 순서로부터 얻을 정보가 적다.

3. native로 한국어 문장을 생성하는 것이 아니라, 영어로 생성된 문장을 한국어로 번역하는 듯한 경향이 있다. 

그럼에도 불구하고, 한국어 기반의 NLP 개발을 이어나가는 점이 멋있다고 생각했습니다. :) 

 

 

 

 

 

Q&A

앞으로 코딩이 중요한 사회가 아닐 것

수학 문제를 푸는 능력은 중요하지 않을 것 

수학적 연구, 사고를 할 수 있는 것이 더욱 중요 

 

사이드 프로젝트, 취업에서 중요한 스펙은? 

내가 정말 기여를 했는가가 가장 중요한 점이다. 

그걸 내가 한 건지 가져온건지 어떻게 알아

ex) 나는 깃헙에서 찾아볼 수 없던 레포를 만들었다

기존에 없던 개발을 했다,

세상에 기여를 하고자 했다는 의지가 보이는 프로젝트가 눈에 띄었던 것 같다.

 

머신러닝 엔지니어 학위 

석사 학위를 따야 하는가?

대학원 과정 및 해외 유학 필수인가?

전혀 아니다. 엔지니어가 되고 싶다면 더더욱 X

리서처가 된다고 해도 석사 학위가 필수라고 생각하지 않고,

예전에 비해서 필드 분위기도 점점 변하고 있다.

졸업할 시기가 더 남아있다면 더욱 더 그러한 사회 분위기가 아닐 것

 

연구로 가져가고 싶다면 도움이 많이 될 것이 분명하다.

미국과 한국의 ai 기술 격차는 매우 크다.

인공지능을 못하는 나라가 절대 아니지만,

미국 >>> 중국 >>>>> 영국 독일 캐나다 한국 이스라엘 싱가포르

특히 미국과 다른 국가들의 기술 격차는 매우 크다

 

AI 필드 자체가 역사가 쌓여 있지 않아,

논의가 활발한 주제

각 롤 별로 많은 회색 지점이 있다

ML 엔지니어, 소프트웨어 백엔드 엔지니어가 어디까지 해야 하는가? 

Data processing, 자동화를 하는 것은 무조건 가져야 한다.

서비스 배포까지는 정도마다 다를 것,

본인이 속한 조직 및 본인이 어디까지 강점을 가져갈 지에 따라 다를 것

 

지금 시점의 뤼튼을 기준으로,

큰 모델을 학습시키는 것은, 빅테크 회사들이 집중적으로 가져가게 될 것

운영체제와 같은 포지션으로 이해하면 될 것이다.

거대 모델을 잘 활용하는 능력도 중요하다. 

가장 큰 역량은 관심 paradigm shift가 매우 빠르기 때문에,

지속적으로 관심을 갖고 follow up 하는 것이 가장 중요한 것

리서처의 경우, 빅텍크에서 요구하는 경우가 많다.

세상에 없던 기술을 만드는 기업일수록 니즈가 클 것

 

AI와 LLM 기반 기술의 미래 전망 

한국어가 가지는 특성, 한국형 언어 모델

어순에 대해 Position이 갖는 의미가 떨어진다. 영어와 전혀 다름

다양한 표현 variation이 매우 많다 (ex 색상)

데이터가 적은 것이 가장 큰 문제

인터넷에 있는, 영어 텍스트 데이터에 비해 한국어가 월등히 적다

gpt4는 인터넷의 긁을 수 있는 정보를 거의 다 가져왔다고 보면 된다.

정제된 한국어 텍스트 데이터가 훨씬 더 많이 커지는 것이 중요

 

영어에서는 그렇게 잘 생각하는데, 한국어에서는 왜 그렇게까지 안될까? 

영어로 먼저 생각하고, 이후 한국어로 말하는 것 같은 느낌이 있다.

완벽한 native 한국어 생성이 이루어지지 않는 느낌이 있다. 

 

AGI 가 언제쯤 나올 것으로 예상하시나요? 

OpenAI의 Q-star 알고리즘 

Action을 활용하려면, 로봇 공학도 맞춰져야 하고

많은 엔지니어링 부분도 붙어야 할 것

디지털 세계 내부에서도 붙을 수 있는 것이 많을 것

2030년 초반 정도로 예상 

 

인공지능은 창의성이 있는가?

본인이 바왔던, 배우고 알게 된 경험에서 

애초에 인간에게는 순수한 창의성이 있는가? 

In-domian에 대해서는 창의성이 있다고 볼 수 있고

Out of domain에 대한 distribution에 대해 

인공지능은 창의성이 있다고 볼 수 없지만,

인간 또한 Out of domain에 대해 창의성을 갖고 있는가? 

우리는 머릿속으로 16차원을 떠올릴 수 없다. 

인간은? 

 

 

 

 

 

* Campus Learder 활동 관련 세션 

생성형 AI 생태계, 창업 환경 조성

KSCY 경험 -> 뤼튼 -> 아이디어톤

zero to one으로 기획하는 과정이 큰 성장의 기회일 것

 

아이디어톤 주제

MZ 세대 대상 GenAI 서비스 기획

전략 기획 competition -> 하나로 수렴함

학술적 포인트는 배제하고 진행되었으면 좋겠다

사업적, 밸류에 대한 고민보다 기술이 선행되면 안된다.

안되는 기술을 되게 하는 것이 창업이다

 

리크루팅

예선 운영 관점에서 많이 신경썼으면 하는 부분

가장 많이 배움이 있던 부분이기도 하다

가이드를 많이 주지 않는 이유, 명함을 준 이유와 같다

우리의 fit에 맞는 사람의 기준을 찾는 기회가 되었으면 좋겠다

ex) 뤼튼의 5개의 코어 밸류

 

리크루팅 - 대체 불가능한 에셋

많이 사람을 보고, 경험하고

같이 일할 사람을 뽑는다를 넘어서

어떤 기준의 사람을 뽑는 것이 맞는지

기준에 대한 검증에 대해 진지한 고민을 했으면 좋겠다

 

Operation

예선 - 유의미한 피드백을 받고, 고민을 많이 하는 시간

참가자의 발표 시간을 줄이고, 

멘토의 피드백을 풍부하게 제공하도록

평가 기준은 재량, 뤼튼에게 자문을 구하는 것은 환영

1차적인 의사결정을 스스로 해보자