Autoregressief Universeel Videosegmentatiemodel
Autoregressive Universal Video Segmentation Model
August 26, 2025
Auteurs: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
Samenvatting
Recente videofundamentmodellen zoals SAM2 blinken uit in geprompte videosegmentatie door maskers te behandelen als een algemeen primitief. Echter vereisen veel real-world scenario's ongeprompte segmentatie die gericht is op het detecteren en volgen van alle objecten in een video zonder externe aanwijzingen, waardoor het huidige landschap gefragmenteerd blijft over taakspecifieke modellen en pijplijnen. Wij herformuleren streamingvideosegmentatie als sequentiële maskervoorspelling, analoog aan taalmodelering, en introduceren het Autoregressieve Universele Segmentatiemodel (AUSM), een enkele architectuur die zowel geprompte als ongeprompte videosegmentatie verenigt. Gebouwd op recente toestandsruimtemodellen, handhaaft AUSM een vaste grootte van de ruimtelijke toestand en schaalt het naar videostreams van willekeurige lengte. Bovendien zijn alle componenten van AUSM ontworpen voor parallelle training over frames, wat aanzienlijke snelheidswinst oplevert ten opzichte van iteratieve training. Op standaard benchmarks (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, en OVIS) overtreft AUSM eerdere universele streamingvideosegmentatiemethoden en behaalt het tot 2,5x snellere training op 16-frame sequenties.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.