ECCV 2024 Day3 - SAM2: Meta Technical Presentation

 

 

 

ECCV 2024. 10. 01. Tuesday 
SAM2: Meta Technical Presentation  

 

SAM2: Segment Anything in Images and Videos (6:00 ~ 6:30) 

정말 많은 사람들이 모였다..! 미리 갔는데도, 앉을 자리가 없었습니다 . .

 

 

 

여권을 담보로 받을 수 있는 헤드셋 🎧

 

 

 

 

📌 SAM2: Segment Anything in Images and Videos 

SAM2 발표

 

 

 

 

기존 SAM1 모델과의 차이점은 비디오 데이터 처리

 

 

 

 

비디오 segmentation - 자율 주행, 드론 비디오 트랙킹, 영상 편집

 

 

 

 

VOS - Video Object Segmentation의 어려운 점

* 유사하게 생긴 객체들을 제대로 분리하기 어렵다는 점이 언급되었다

+ 여러 사례들과 함께 한계점을 짚어보아서, 재미있었다 :) 

 

 

 

 

기존 방식 - Semi-Supervised VOS 

초기 프레임에서 잡힌 mask를 수정하고 싶다면?

 

 

 

 

Prompt 가능한 Segmentation

여기서 프롬프트는 NLP 프롬프트가 아니라, 픽셀 상의 가이드를 의미한다. 

 

 

 

 

비디오데이터 - 이미지 frame들의 집합 (time 축에 따라)

memory attention 추가

 

 

 

비디오 데이터에 대한 설명

 

 

 

 

모델 학습 시 annotation 관련 방법론 

 

 

 

 

 

 

📌 SA-V dataset 

Segment Anything Video (SA-V) Dataset

https://ai.meta.com/datasets/segment-anything-video/

SA-V | Meta AI Research

 

 

 

https://github.com/facebookresearch/sam2/blob/main/sav_dataset/README.md

sam2/sav_dataset/README.md at main · facebookresearch/sam2

 

 

 

 

 

Result

 

 

 

 

 

 

SAM2 Demo

https://sam2.metademolab.com

SAM 2 Demo | By Meta FAIR

 

 

 

잘 tracking 되지 않는 예시들

 

 

 

 

 

 

 

 

👩‍💻

끝나기 직전에 후다닥 헤드셋 반납하고,

교수님이 저녁 사주셔서, 약속 장소로 갔습니다. 

 

아쉽다 .. 🥹

 

 

 

 

 

KHU CV Night ✨

📸