Modèle Autoregressif Universel de Segmentation Vidéo
Autoregressive Universal Video Segmentation Model
August 26, 2025
papers.authors: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
papers.abstract
Les modèles de base vidéo récents tels que SAM2 excellent dans la segmentation vidéo guidée en traitant les masques comme une primitive à usage général. Cependant, de nombreux contextes réels nécessitent une segmentation non guidée visant à détecter et suivre tous les objets dans une vidéo sans indices externes, ce qui laisse le paysage actuel fragmenté entre des modèles et pipelines spécifiques à des tâches. Nous reformulons la segmentation vidéo en flux continu comme une prédiction séquentielle de masques, analogue à la modélisation du langage, et introduisons le Modèle de Segmentation Universelle Autoregressif (AUSM), une architecture unique qui unifie à la fois la segmentation vidéo guidée et non guidée. Basé sur les modèles d'état récents, AUSM maintient un état spatial de taille fixe et s'adapte à des flux vidéo de longueur arbitraire. De plus, tous les composants d'AUSM sont conçus pour un entraînement parallèle sur les images, offrant des accélérations substantielles par rapport à l'entraînement itératif. Sur les benchmarks standards (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, et OVIS), AUSM surpasse les méthodes précédentes de segmentation vidéo universelle en flux continu et permet un entraînement jusqu'à 2,5 fois plus rapide sur des séquences de 16 images.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.