Autoregressives universelles Modell für die Videosegmentierung
Autoregressive Universal Video Segmentation Model
August 26, 2025
papers.authors: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
papers.abstract
Aktuelle Video-Foundation-Modelle wie SAM2 zeichnen sich durch eine hervorragende Leistung bei der promptgesteuerten Videosegmentierung aus, indem sie Masken als allgemeingültiges Grundelement behandeln. In vielen realen Anwendungen ist jedoch eine ungepromptete Segmentierung erforderlich, die darauf abzielt, alle Objekte in einem Video ohne externe Hinweise zu erkennen und zu verfolgen, was die derzeitige Landschaft in aufgabenspezifische Modelle und Pipelines fragmentiert. Wir reformulieren die Streaming-Videosegmentierung als sequenzielle Maskenvorhersage, analog zum Sprachmodellieren, und führen das Autoregressive Universal Segmentation Model (AUSM) ein, eine einzige Architektur, die sowohl promptgesteuerte als auch ungepromptete Videosegmentierung vereint. Basierend auf neuesten State-Space-Modellen behält AUSM einen festen räumlichen Zustand bei und skaliert auf Videoströme beliebiger Länge. Darüber hinaus sind alle Komponenten von AUSM für paralleles Training über Frames hinweg konzipiert, was erhebliche Beschleunigungen gegenüber iterativem Training ermöglicht. Auf Standard-Benchmarks (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021 und OVIS) übertrifft AUSM bisherige universelle Streaming-Videosegmentierungsmethoden und erreicht bis zu 2,5-mal schnelleres Training bei 16-Frame-Sequenzen.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.