ECCV 2024 DAY2 - Dataset Distillation Workshop (2)

 

 

 

ECCV 2024 Day2 
Sometimes Less is More: The First Dataset Distillation Challenge

 

Flavors of Distillation 

헬름홀츠 · 뮌헨 공대

 

distillation과 연관된 주제들을 차례로 연구와 함께 소개해주셔서, 이해가 잘 되었다.

 

 

 

 

 

 

 

 

dream

 

 

 

 

 

 

 

 

 

 

아래와 같이 Part 별로 연구하신 내용 · 논문을 함께 설명해주셨다.

Next step으로 넘어갈 때, 왜 해당 방법론이 도입되었는지 제시해주셔서,

이해하면서 듣기 좋았다.! :) 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

* Summary

(1) Data distillation - (2) test data curation - (3) knowledge distillation - (4) General knowledge distillation

 

작은 training set -> small samples synth 

• Data dream 
• Fine tuning the generator
• LoRA Adapter
• Different adapter for each class of training set
• Generates high quality images + SOTA Results 

 

Data dream summary 

Few shot guided dataset condensation 

 

(2) Test data curation - EgoCVR

Composed Video Retrieval

• 현재의 문제 + new method 
• Input - video -> text instruction + captioner -> text to video retrieval
• Summary 

 

(3) Knowledge Distillation - teacher and student models 

Large model + compressing model 

Via feature distillation 

 

 (4) General knowledge distillation

질문에 대한 답: Yes

처음에는 KD로 시작 -> 성능이 낮은 모델이더라도새로운 부분을 학생 모델이 조금 얻어감 

 

논문과 연구 방식의 동기 + method + 결과에 대해 간략하게 flow를 설명해주셔서 

연구의 큰 그림을 파악하고 이해하기 수월했다.

Summary로 간략하게 소개하는 것 (gains를) 

 

• 헬름홀츠 뮌헨 
• https://www.helmholtz-munich.de/en/computational-health-center 
• https://www.helmholtz.ai

 

 

 

• Panel discussion 

이미지에만 집중한 현재 - just on the image based

DD의 미래 -> 다른 modality에 어떻게 extend 할 것인가? 

Or 실세계의 데이터에 적용할 것인가? 태불러 데이터셋 / 비디오 - very new topic / 

많은 challenges 가 남아있다 - cross architecture performance 

 

+ Multi-labeled - More complex data 

• Poster session - panel discussions - future of dataset distillation 
• Focused on the next step (multi-modality or more complex datasets)

 

 

 

☕️Coffee break · poster session 

커피 타임 -

 

 

 

 

 

 

🤔

작년에 논문 쓰면서, 모델 돌릴 때 궁금했던 점이 있었는데 

포스터 구경하다가 똑같은 현상이 보이길래, 저자분께 질문해봤다.!

Condensation을 시키면 저렇게 이미지에 격자무늬 패턴이 생기는데, 처음에는 이게 오류인 줄 알았거등요

여쭤보니 Convolution 연산을 기반으로 하는 네트워크에서, 필터 때문에 드러나는 현상 같다고 알려주셨다. 

+ ViT처럼 다른 네트워크에서는 저런 형태가 드러나지 않는다고 하시더라구요,, 

원인을 이제서야 알게 되다니,, 꽤나 신기하고 재미있었다. :)