SAM-MT: Echtzeit-interaktive Multi-Target-Videosegmentierung

Zusammenfassung

Moderne Video-Objekterkennung (VOS) umfasst die Verfolgung und Segmentierung benutzerspezifizierter Ziele. Während aktuelle Ansätze in Einzelzielszenarien bemerkenswerte Leistungen erzielt haben, führt ihre Erweiterung auf Mehrfachzielumgebungen typischerweise zur Replikation der Einzelzielverarbeitung für jedes einzelne Objekt, was mit zunehmender Zielanzahl zu reduzierten Bildraten (FPS) mit unbegrenzter Latenz führt. Aufbauend auf Segment Anything 2 (SAM2) stellen wir SAM-MT vor, das dieses Problem durch die Umwandlung des Modells in ein interaktives Framework für Echtzeit-Mehrziel-Videosegmentierung löst. SAM-MT verwendet explizite Abfragen zur Darstellung verschiedener einzelner Ziele, parallel zu einer gemeinsamen Darstellung für den globalen Kontext. Es nutzt entkoppelte maskierte Aufmerksamkeit, um einzelne Identitäten vor zielübergreifender Interferenz zu schützen, sowie spärlichen Speicher für eine stabile zeitliche Entwicklung, zusammen mit speziellen Strategien für den Umgang mit Verdeckungen und zur Überlappungsvermeidung. SAM-MT entkoppelt erfolgreich die Latenz von der Anzahl der Ziele, erreicht eine Echtzeitgeschwindigkeit vergleichbar mit Einzelziel-Baselines (>36 FPS für 10 Ziele) und behält gleichzeitig SAM2s robuste Videosegmentierungsleistung bei.

English

Modern Video Object Segmentation (VOS) involves tracking and segmenting user-specified targets. While recent approaches have achieved remarkable performance in single-target scenarios, extending them to multi-target settings typically involves replicating the single-target processing for each individual object, resulting in reduced frame rates (FPS) with unbounded latency as target count increases. Built upon Segment Anything 2 (SAM2), we propose SAM-MT, which addresses this by transforming the model into an interactive framework for real-time Multi-Target video segmentation. SAM-MT uses explicit queries to represent different individual targets, in parallel with a shared representation for global context. It employs decoupled masked attention to keep individual identities distinct from cross-target interference, and sparse memory for stable temporal evolution, along with specialized strategies for occlusion handling and overlap prevention. SAM-MT successfully decouples latency from the number of targets, achieving real-time speed on par with single-target baselines (>36 FPS for 10 targets) while maintaining SAM2's robust video segmentation performance.