SAM2Matting: Matting generalizado de imágenes y videos

Resumen

A pesar de los impresionantes avances en el matting de imágenes, el matting de video sigue siendo un desafío debido a la brecha inherente entre el rastreo de alto nivel, que requiere una comprensión fotograma a fotograma, y el matting de bajo nivel, que se centra en detalles extremadamente finos. Los métodos existentes intentan abordar esto con conjuntos de datos de matting de video costosos y de alcance limitado, lo que puede limitar la generalización fuera del dominio y comprometer la robustez del rastreo. Repensamos el paradigma con SAM2Matting, un marco de rastreador a matting que impulsa los rastreadores VOS hacia el matting de video de alta fidelidad. Específicamente, desacopla la tarea mejorando un rastreador fundamental (por ejemplo, SAM2, SAM3) con un puente de propuesta de regiones y cabezales de matting dedicados, lo que permite que el rastreador sin compromisos maneje la consistencia temporal mientras los componentes de matting resuelven los detalles finos. Notablemente, a pesar de haber sido entrenado solo con imágenes, SAM2Matting establece un nuevo rendimiento de vanguardia en el matting de video, admite diversos tipos de prompts, mantiene una fuerte consistencia temporal y demuestra una generalización robusta tanto en escenarios centrados en humanos como en entornos naturales.

English

Despite impressive advances in image matting, video matting remains challenging due to the inherent gap between high-level tracking, which requires frame-wise understanding, and low-level matting, which focuses on extremely fine-grained details. Existing methods attempt this with expensive and narrowly-scoped video matting datasets, which may limit out-of-domain generalization and compromise tracking robustness. We rethink the paradigm with SAM2Matting, a tracker-to-matting framework that advances VOS trackers to high-fidelity video matting. Specifically, it decouples the task by enhancing a foundational tracker (e.g., SAM2, SAM3) with a region-proposal bridge and dedicated matting heads, enabling the uncompromised tracker to handle temporal consistency while the matting components resolve fine-grained details. Notably, despite being trained only on images, SAM2Matting establishes new state-of-the-art performance on video matting, supports diverse prompt types, maintains strong temporal consistency, and demonstrates robust generalization across both human-centric and in-the-wild scenarios.