SAM2Matting: Verallgemeinertes Bild- und Videomatting

Zusammenfassung

Trotz beeindruckender Fortschritte im Bildmatting bleibt Videomatting eine Herausforderung, bedingt durch die inhärente Lücke zwischen hochrangigem Tracking, das ein frame-weises Verständnis erfordert, und niedrigrangigem Matting, das sich auf extrem feinkörnige Details konzentriert. Bestehende Methoden versuchen dies mit teuren und eng gefassten Videomatting-Datensätzen, was die domänenübergreifende Generalisierung einschränken und die Robustheit des Trackings beeinträchtigen kann. Wir überdenken das Paradigma mit SAM2Matting, einem Tracker-to-Matting-Framework, das VOS-Tracker zu hochgetreuem Videomatting weiterentwickelt. Insbesondere entkoppelt es die Aufgabe, indem es einen grundlegenden Tracker (z. B. SAM2, SAM3) mit einer Region-Proposal-Brücke und dedizierten Matting-Köpfen erweitert, sodass der unveränderte Tracker die zeitliche Konsistenz handhaben kann, während die Matting-Komponenten feinkörnige Details auflösen. Bemerkenswerterweise erzielt SAM2Matting, obwohl es nur auf Bildern trainiert wurde, eine neue Spitzenleistung im Videomatting, unterstützt verschiedene Prompt-Typen, bewahrt eine starke zeitliche Konsistenz und zeigt eine robuste Generalisierung sowohl in menschenzentrierten als auch in In-the-Wild-Szenarien.

English

Despite impressive advances in image matting, video matting remains challenging due to the inherent gap between high-level tracking, which requires frame-wise understanding, and low-level matting, which focuses on extremely fine-grained details. Existing methods attempt this with expensive and narrowly-scoped video matting datasets, which may limit out-of-domain generalization and compromise tracking robustness. We rethink the paradigm with SAM2Matting, a tracker-to-matting framework that advances VOS trackers to high-fidelity video matting. Specifically, it decouples the task by enhancing a foundational tracker (e.g., SAM2, SAM3) with a region-proposal bridge and dedicated matting heads, enabling the uncompromised tracker to handle temporal consistency while the matting components resolve fine-grained details. Notably, despite being trained only on images, SAM2Matting establishes new state-of-the-art performance on video matting, supports diverse prompt types, maintains strong temporal consistency, and demonstrates robust generalization across both human-centric and in-the-wild scenarios.