SAM-MT: 실시간 대화형 다중 대상 비디오 분할

초록

최신 비디오 객체 분할(VOS)은 사용자가 지정한 대상을 추적 및 분할하는 것을 포함한다. 최근 접근법들은 단일 대상 시나리오에서 뛰어난 성능을 달성했지만, 이를 다중 대상 설정으로 확장하는 것은 일반적으로 각 개별 객체에 대해 단일 대상 처리를 복제함으로써 대상 수가 증가함에 따라 제한 없는 지연 시간으로 인해 프레임 속도(FPS)가 감소하게 된다. Segment Anything 2(SAM2)를 기반으로, 우리는 실시간 다중 대상 비디오 분할을 위해 모델을 대화형 프레임워크로 변환함으로써 이 문제를 해결하는 SAM-MT를 제안한다. SAM-MT는 전역 맥락을 위한 공유 표현과 병렬로, 다양한 개별 대상을 표현하기 위해 명시적 질의를 사용한다. 이는 개별 정체성을 교차 대상 간섭으로부터 구분하기 위해 분리된 마스크 어텐션을, 안정적인 시간적 진화를 위해 희소 메모리를 사용하며, 가림 처리 및 중복 방지를 위한 특화된 전략을 함께 사용한다. SAM-MT는 지연 시간을 대상 수로부터 성공적으로 분리하여 단일 대상 기준선과 동등한 실시간 속도(10개 대상에 대해 >36 FPS)를 달성하면서도 SAM2의 강력한 비디오 분할 성능을 유지한다.

English

Modern Video Object Segmentation (VOS) involves tracking and segmenting user-specified targets. While recent approaches have achieved remarkable performance in single-target scenarios, extending them to multi-target settings typically involves replicating the single-target processing for each individual object, resulting in reduced frame rates (FPS) with unbounded latency as target count increases. Built upon Segment Anything 2 (SAM2), we propose SAM-MT, which addresses this by transforming the model into an interactive framework for real-time Multi-Target video segmentation. SAM-MT uses explicit queries to represent different individual targets, in parallel with a shared representation for global context. It employs decoupled masked attention to keep individual identities distinct from cross-target interference, and sparse memory for stable temporal evolution, along with specialized strategies for occlusion handling and overlap prevention. SAM-MT successfully decouples latency from the number of targets, achieving real-time speed on par with single-target baselines (>36 FPS for 10 targets) while maintaining SAM2's robust video segmentation performance.