ECCV 2024 Day3 - SAM2: Meta Technical Presentation
ECCV 2024. 10. 01. Tuesday
SAM2: Meta Technical Presentation
SAM2: Segment Anything in Images and Videos (6:00 ~ 6:30)
📌 SAM2: Segment Anything in Images and Videos
기존 SAM1 모델과의 차이점은 비디오 데이터 처리
비디오 segmentation - 자율 주행, 드론 비디오 트랙킹, 영상 편집
VOS - Video Object Segmentation의 어려운 점
* 유사하게 생긴 객체들을 제대로 분리하기 어렵다는 점이 언급되었다
+ 여러 사례들과 함께 한계점을 짚어보아서, 재미있었다 :)
기존 방식 - Semi-Supervised VOS
초기 프레임에서 잡힌 mask를 수정하고 싶다면?
Prompt 가능한 Segmentation
여기서 프롬프트는 NLP 프롬프트가 아니라, 픽셀 상의 가이드를 의미한다.
비디오데이터 - 이미지 frame들의 집합 (time 축에 따라)
memory attention 추가
모델 학습 시 annotation 관련 방법론
📌 SA-V dataset
Segment Anything Video (SA-V) Dataset
https://ai.meta.com/datasets/segment-anything-video/
SA-V | Meta AI Research
Overview SA-V consists of 51K diverse videos and 643K spatio-temporal segmentation masks (i.e., masklets). It is intended to be used for computer vision research for the purposes permitted under the CC by 4.0 license. The videos were collected via a contra
ai.meta.com
https://github.com/facebookresearch/sam2/blob/main/sav_dataset/README.md
sam2/sav_dataset/README.md at main · facebookresearch/sam2
The repository provides code for running inference with the Meta Segment Anything Model 2 (SAM 2), links for downloading the trained model checkpoints, and example notebooks that show how to use th...
github.com
SAM2 Demo
SAM 2 Demo | By Meta FAIR
Track an object across any video and create fun effects interactively, with as little as a single click on one frame.
sam2.metademolab.com
👩💻
끝나기 직전에 후다닥 헤드셋 반납하고,
교수님이 저녁 사주셔서, 약속 장소로 갔습니다.
KHU CV Night ✨
