SAM2Matting: 일반화된 이미지 및 비디오 매팅

초록

이미지 매팅에서 인상적인 발전이 있었음에도 불구하고, 비디오 매팅은 프레임별 이해를 요구하는 고수준 추적과 극도로 미세한 세부사항에 초점을 맞춘 저수준 매팅 사이의 본질적인 차이로 인해 여전히 어려운 과제로 남아 있습니다. 기존 방법들은 비용이 많이 들고 범위가 제한된 비디오 매팅 데이터셋을 사용하여 이를 시도하지만, 이는 도메인 외 일반화를 제한하고 추적 견고성을 저하시킬 수 있습니다. 우리는 SAM2Matting을 통해 패러다임을 재고합니다. 이는 VOS 추적기를 고충실도 비디오 매팅으로 발전시키는 추적-매팅 프레임워크입니다. 구체적으로, 이 프레임워크는 기본 추적기(예: SAM2, SAM3)를 영역 제안 브리지와 전용 매팅 헤드로 강화하여 작업을 분리함으로써, 손상되지 않은 추적기가 시간적 일관성을 처리하고 매팅 구성 요소가 미세한 세부사항을 해결할 수 있도록 합니다. 주목할 점은, 이미지로만 훈련되었음에도 불구하고 SAM2Matting은 비디오 매팅에서 새로운 최첨단 성능을 확립하고, 다양한 프롬프트 유형을 지원하며, 강력한 시간적 일관성을 유지하고, 인간 중심 시나리오와 실제 환경 시나리오 모두에서 강력한 일반화 능력을 입증한다는 것입니다.

English

Despite impressive advances in image matting, video matting remains challenging due to the inherent gap between high-level tracking, which requires frame-wise understanding, and low-level matting, which focuses on extremely fine-grained details. Existing methods attempt this with expensive and narrowly-scoped video matting datasets, which may limit out-of-domain generalization and compromise tracking robustness. We rethink the paradigm with SAM2Matting, a tracker-to-matting framework that advances VOS trackers to high-fidelity video matting. Specifically, it decouples the task by enhancing a foundational tracker (e.g., SAM2, SAM3) with a region-proposal bridge and dedicated matting heads, enabling the uncompromised tracker to handle temporal consistency while the matting components resolve fine-grained details. Notably, despite being trained only on images, SAM2Matting establishes new state-of-the-art performance on video matting, supports diverse prompt types, maintains strong temporal consistency, and demonstrates robust generalization across both human-centric and in-the-wild scenarios.