Modello Autoregressivo Universale per la Segmentazione Video
Autoregressive Universal Video Segmentation Model
August 26, 2025
Autori: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
Abstract
I recenti modelli di base per video come SAM2 eccellono nella segmentazione video guidata trattando le maschere come un primitivo generico. Tuttavia, molti contesti reali richiedono una segmentazione non guidata che mira a rilevare e tracciare tutti gli oggetti in un video senza suggerimenti esterni, lasciando l'attuale panorama frammentato tra modelli e pipeline specifici per compiti. Riformuliamo la segmentazione video in streaming come previsione sequenziale di maschere, analoga alla modellazione del linguaggio, e introduciamo l'Autoregressive Universal Segmentation Model (AUSM), un'unica architettura che unifica sia la segmentazione video guidata che quella non guidata. Basato su recenti modelli a stati spazio, AUSM mantiene uno stato spaziale di dimensione fissa e si adatta a flussi video di lunghezza arbitraria. Inoltre, tutti i componenti di AUSM sono progettati per l'addestramento parallelo tra frame, ottenendo sostanziali accelerazioni rispetto all'addestramento iterativo. Su benchmark standard (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021 e OVIS) AUSM supera i precedenti metodi di segmentazione video in streaming universale e raggiunge fino a 2,5x tempi di addestramento più rapidi su sequenze di 16 frame.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.