2023 중력파 및 수치상대론 경진대회 - AI for Science (NVIDIA)

 

 

 

 

AI for Science (NVIDIA)

- GPU 가속
    - 라이브러리 사용
    - 포트란, cpp, python에서도 GPU 프로그래밍 가능
        - Ex) CUPY(numpy), RAPIDS(pandas의 GPU 버전), CUML(사이킷런 같은)
        - CFD 시뮬레이션, N-body 시뮬레이션(GPU가 잘 적용되는 분야), 우주론, 분자동역학 계산 시
        - 3중 loop -> x,y,z 방향으로 중력 계산 -> GPU 포팅할 때 이러한 계산을 쉽게 할 수 있다. 
        - 한 줄 넣으면, GPU 가속해서 수백배 빠르게 계산할 수 있다. 
    - 여기가 AI 도입하기 전, GPU 가속을 사용하는 것

- AI : 본격적으로 인공지능 분야
    - Data driven
        - Chat-GPT(openAI 3.5): AI 분야가 각광
        - 앙상블 모델 (Switch) -> parameter 수 많아 보이는 것
        - 모델 사이즈를 늘릴수록 할 수 있는 일들이 늘어난다. (언어 모델 기준)
            - Chat-GPT 경우 - (모델 파라미터 사이즈, 학습 데이터, 컴퓨터 리소스) 셋 다 적절히 늘어나야 함
        - 아카데미에서 올린 모델이 사라지고 있다 - 대부분 기업에서 개발 (구글, openAI 등등)
        - Input(도메인) - output(플로우)

- AI의 장점
    - Data driven: input output 시뮬레이션을 넘어설 수 없다.
    - 장점 - 시뮬레이션은 매번 RUN
    - AI: 학습은 시간이 오래 걸리지만, 학습이 끝난 모델을 가지고 서비스할 때에는 시뮬레이션보다 훨씬 효율적
    - 기후 문제를 AI를 통해 분석

- input과 output을 어떻게 넣을지 고민해야 함
- Supervised learning (지도학습)
- Real variable을 이미지처럼 넣는다. (실제는 이미지가 아니라 각각 변수들 값을 의미)
- 딥러닝도 뉴턴법을 사용한다. 
    - Loss 목적함수의 미분이 작아지는 방향으로 학습 반복 시행
    - 방정식이 신경망으로 바뀐 것
    - Adam optimizer

- 기상, 기후 모델
    - 개인이 취미생활로 연구한 모델 (연구 그룹과 이름이 없다)
    - 성능이 잘 나오고,
    - GPU를 한 장만 써서 오래 돌렸다 (1주일 정도)
    - inference는 0.01초 (엔터 치면 바로 나오게)
    - Accuracy는 조금 낮다 (해상도를 낮추었다)
        - 예산이 컸다면 해상도를 더 높일 수 있었을 것
    - 개인도 이러한 연구를 할 수 있다는 가능성
    - 그 이후로 구글이 뛰어듦

- 화웨이 웨더 모델
    - 거의 이전의 모델과 유사
    - 이미지처럼 variable -> 인코딩 디코딩 -> 패치 
    - 예측 모델
    - Transformer 모델을 가져와서 사용함
    - 아까와 달리 해상도가 높다 (비디오 수준 이미지)
    - 연구 결과: ECMWF 모델은 틀림 - AI는 제대로 예측함 
        - 첫 날, AI가 더 잘 맞췄다.
        - Time interval을 키우니까 더 정확해졌다. (에러누적효과)
        - Step size를 크게 하는 것이 더 좋다 (시뮬레이션과 반대)

- Alfhafold2
    - 단백질 경진 대회 CASP
    - Alfhafold1 - 구글 딥마인드
    - 구글 고랩에서 코랩폴드 제공

- MEGAMOLBART
    - 유사한 화학식을 알려줘 (성분, 독성이 비슷한)
    - ‘바트’라는 페이스북이 제공하는 모델 활용
    - 데이터 인풋 아웃풋을 어떻게 맞출지 고민
    - 내부는 가져다 사용하면 된다.

- 중력파
    - 캐글 경진대회 중력파 문제
        - 지난 달에 열렸다.
        - 중력파 detector 만드는 첼린지에 등록하자
    - 캐글의 science / NVIDIA에 연락하면 도움을 줄 수 있다.
    - 시뮬레이션 하는 것을 파이썬으로 쉽게 만들 수 있다. 
    - 노이즈가 많다 -> 노이즈 처리하는 것이 굉장히 큰 일
    - Feature engineering (특성 공학 - Q-transform 이게 여기에 해당)
    - 딥러닝은 모델 갖져와 사용하면 된다
        - TIMM으로 끌어와서 사용하면 됨
        - 시뮬레이션 해서 chirp 시그널을 만들고, freq 주기 만들어서 
        - 그냥 하지 않고 노이즈가 굉장히 크다 -> 노이즈안에 시그널을 넣었을 때 어떻게 보이는가?
        - SNR비율이 안 좋은 데이터에 속한다.
    - 카디악 (심장 모양의 편향 마이크)

- Normalization (Log scale 조심)
- Noise 집어넣기, 속도 조절하기(중력파도 같게 할 수 있다. m1, m2 조절 등등)
- 최대한 다양한 데이터를 만들 수 있다.
- 모델은 나와있는 모델 많이 사용한다 (CNN, LSTM, 트랜스포머)
- 목적함수 - 시계열 - C2C loss, 다양한 로스가 있다.

- 관측한 데이터를 전처리
- 오히려 딥러닝 모델은 고민할 게 없다
- 가이드가 있으면 좋다
- 두번째 캐글 경진대회
    - 전처리한 input을 준다.
    - label을 준다 (중력파다 or 아니다)
        - 중력파를 잘게 끊어서 suffle 시켜둔다. 
        - 데이터가 chirp 위치를 랜덤으로 바꾸고 등등

- Data Driven Approach
    - 데이터 모듈들
        - 엔지니어링은 편해졌다 -> 가져와서 사용하면 됨
        - 고민할 것은 데이터, Task, 목적함수 뭐 쓸 건지 등등

- MLP

    - 멀티 레이어 퍼셉트론
    - CNN -> 트랜스포머 -> 다시 MLP로 회귀

- PINN (Physics informed neural network)
    - Physics는 내재된 것으로 예상
    - 물리 정보를 집어넣어서 돌리자 
    - 지금은 굉장히 하이브리드 (데이터만 있는 것이 아니라)
    - information에 의해 데이터를 생성하면서 학습
    - 신경망 풀이가 뉴턴법 풀이와 매우 유사
        - 해당 기법을 여기에 채택한다. 
        - 컨셉 - 신경망을 풀 때, 물리 방정식을 풀어라
        - 그럴꺼면 시뮬레이션 하지? 왜?
        - AI 장점: 학습은 오래 걸리지만, 학습이 끝난 파라미터를 가지고 즉시 재현할 수 있다.
            - Parameter, condition이 바뀌더라도, model parameter만 있으면 ok

- 다른 값을 예측하는 경우 (2차 함수의 왼편만 보고 직선으로 예측)
    - 해결책 - 모든 data에 대한 포인트를 주면 해결됨 
    - 가이드 트레이닝 (컨셉)
    - 데이터 드리븐 + 피직스 -> 문제 없이 해를 찾을 수 있다.

- 4단계
    - 신경망 구축 (뉴럴넷 생성, 미분식 표현)
    - Geometry (1D, 2D, 3D)
    - Loss func (mse를 많이 사용한다)
    - Test(모듈러스 SDK를 다운받아 사용)