SAM2Matting : Matting généralisé d'images et de vidéos

Résumé

Malgré les avancées impressionnantes dans le détourage d'image, le détourage vidéo reste difficile en raison du fossé inhérent entre le suivi de haut niveau, qui nécessite une compréhension image par image, et le détourage de bas niveau, qui se concentre sur des détails extrêmement fins. Les méthodes existantes abordent ce problème avec des ensembles de données de détourage vidéo coûteux et au champ d'application restreint, ce qui peut limiter la généralisation hors domaine et compromettre la robustesse du suivi. Nous repensons le paradigme avec SAM2Matting, un cadre de type tracker-à-détourage qui fait progresser les trackers de segmentation d'objets vidéo (VOS) vers un détourage vidéo haute fidélité. Plus précisément, il découple la tâche en enrichissant un tracker fondamental (par exemple, SAM2, SAM3) avec un pont de proposition de région et des têtes de détourage dédiées, permettant au tracker, sans compromis, de gérer la cohérence temporelle tandis que les composants de détourage résolvent les détails fins. Notamment, bien qu'entraîné uniquement sur des images, SAM2Matting établit de nouvelles performances de pointe en détourage vidéo, prend en charge divers types d'invites, maintient une forte cohérence temporelle et démontre une généralisation robuste à la fois dans des scénarios centrés sur l'humain et dans la nature.

English

Despite impressive advances in image matting, video matting remains challenging due to the inherent gap between high-level tracking, which requires frame-wise understanding, and low-level matting, which focuses on extremely fine-grained details. Existing methods attempt this with expensive and narrowly-scoped video matting datasets, which may limit out-of-domain generalization and compromise tracking robustness. We rethink the paradigm with SAM2Matting, a tracker-to-matting framework that advances VOS trackers to high-fidelity video matting. Specifically, it decouples the task by enhancing a foundational tracker (e.g., SAM2, SAM3) with a region-proposal bridge and dedicated matting heads, enabling the uncompromised tracker to handle temporal consistency while the matting components resolve fine-grained details. Notably, despite being trained only on images, SAM2Matting establishes new state-of-the-art performance on video matting, supports diverse prompt types, maintains strong temporal consistency, and demonstrates robust generalization across both human-centric and in-the-wild scenarios.