SAM2Matting: Обобщенное матирование изображений и видео

Аннотация

Несмотря на впечатляющие успехи в области матирования изображений, видеоматирование остается сложной задачей из-за внутреннего разрыва между высокоуровневым отслеживанием, требующим покадрового понимания, и низкоуровневым матированием, сфокусированным на чрезвычайно мелких деталях. Существующие методы пытаются решить эту проблему с помощью дорогостоящих и узконаправленных наборов данных для видеоматирования, что может ограничивать обобщение на другие области и снижать надежность отслеживания. Мы переосмысливаем парадигму с помощью SAM2Matting — фреймворка, преобразующего трекер в средство матирования, который продвигает VOS-трекеры к высокоточному видеоматированию. В частности, он декомпозирует задачу, расширяя фундаментальный трекер (например, SAM2, SAM3) с помощью моста предложений регионов и специализированных головок матирования, что позволяет неизмененному трекеру обрабатывать временну́ю согласованность, в то время как компоненты матирования разрешают тонкие детали. Примечательно, что, несмотря на обучение только на изображениях, SAM2Matting устанавливает новый уровень современных результатов в видеоматировании, поддерживает разнообразные типы подсказок, сохраняет сильную временну́ю согласованность и демонстрирует надежное обобщение как в сценариях, ориентированных на человека, так и в произвольных условиях.

English

Despite impressive advances in image matting, video matting remains challenging due to the inherent gap between high-level tracking, which requires frame-wise understanding, and low-level matting, which focuses on extremely fine-grained details. Existing methods attempt this with expensive and narrowly-scoped video matting datasets, which may limit out-of-domain generalization and compromise tracking robustness. We rethink the paradigm with SAM2Matting, a tracker-to-matting framework that advances VOS trackers to high-fidelity video matting. Specifically, it decouples the task by enhancing a foundational tracker (e.g., SAM2, SAM3) with a region-proposal bridge and dedicated matting heads, enabling the uncompromised tracker to handle temporal consistency while the matting components resolve fine-grained details. Notably, despite being trained only on images, SAM2Matting establishes new state-of-the-art performance on video matting, supports diverse prompt types, maintains strong temporal consistency, and demonstrates robust generalization across both human-centric and in-the-wild scenarios.