Modelo Autoregressivo de Segmentação Universal de Vídeo
Autoregressive Universal Video Segmentation Model
August 26, 2025
Autores: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
Resumo
Modelos recentes de base para vídeo, como o SAM2, destacam-se na segmentação de vídeo com prompts ao tratar máscaras como um primitivo de uso geral. No entanto, muitos cenários do mundo real exigem segmentação sem prompts, que visa detectar e rastrear todos os objetos em um vídeo sem pistas externas, deixando o cenário atual fragmentado em modelos e pipelines específicos para tarefas. Reinterpretamos a segmentação de vídeo em fluxo contínuo como previsão sequencial de máscaras, análoga à modelagem de linguagem, e introduzimos o Modelo de Segmentação Universal Autoregressivo (AUSM), uma única arquitetura que unifica tanto a segmentação de vídeo com prompts quanto sem prompts. Baseado em modelos recentes de espaço de estados, o AUSM mantém um estado espacial de tamanho fixo e escala para fluxos de vídeo de comprimento arbitrário. Além disso, todos os componentes do AUSM são projetados para treinamento paralelo entre quadros, resultando em ganhos substanciais de velocidade em relação ao treinamento iterativo. Em benchmarks padrão (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021 e OVIS), o AUSM supera métodos anteriores de segmentação universal de vídeo em fluxo contínuo e alcança treinamentos até 2,5 vezes mais rápidos em sequências de 16 quadros.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.