Авторегрессивная универсальная модель сегментации видео
Autoregressive Universal Video Segmentation Model
August 26, 2025
Авторы: Miran Heo, Sukjun Hwang, Min-Hung Chen, Yu-Chiang Frank Wang, Albert Gu, Seon Joo Kim, Ryo Hachiuma
cs.AI
Аннотация
Недавние базовые модели для работы с видео, такие как SAM2, демонстрируют выдающиеся результаты в сегментации видео по запросу, рассматривая маски как универсальный примитив. Однако во многих реальных сценариях требуется автономная сегментация, которая направлена на обнаружение и отслеживание всех объектов в видео без внешних подсказок, что делает современные подходы фрагментированными, основанными на специализированных моделях и конвейерах. Мы переосмысливаем потоковую сегментацию видео как последовательное предсказание масок, аналогичное языковому моделированию, и представляем Авторегрессионную Универсальную Модель Сегментации (AUSM) — единую архитектуру, объединяющую как сегментацию по запросу, так и автономную сегментацию. Основанная на современных моделях с пространством состояний, AUSM поддерживает фиксированный размер пространственного состояния и масштабируется для обработки видео произвольной длины. Кроме того, все компоненты AUSM разработаны для параллельного обучения на кадрах, что обеспечивает значительное ускорение по сравнению с итеративным обучением. На стандартных тестовых наборах (DAVIS17, YouTube-VOS 2018 & 2019, MOSE, YouTube-VIS 2019 & 2021 и OVIS) AUSM превосходит предыдущие универсальные методы потоковой сегментации видео и достигает до 2,5-кратного ускорения обучения на последовательностях из 16 кадров.
English
Recent video foundation models such as SAM2 excel at prompted video
segmentation by treating masks as a general-purpose primitive. However, many
real-world settings require unprompted segmentation that aims to detect and
track all objects in a video without external cues, leaving today's landscape
fragmented across task-specific models and pipelines. We recast streaming video
segmentation as sequential mask prediction, analogous to language modeling, and
introduce the Autoregressive Universal Segmentation Model (AUSM), a single
architecture that unifies both prompted and unprompted video segmentation.
Built on recent state-space models, AUSM maintains a fixed-size spatial state
and scales to video streams of arbitrary length. Furthermore, all components of
AUSM are designed for parallel training across frames, yielding substantial
speedups over iterative training. On standard benchmarks (DAVIS17, YouTube-VOS
2018 & 2019, MOSE, YouTube-VIS 2019 & 2021, and OVIS) AUSM outperforms prior
universal streaming video segmentation methods and achieves up to 2.5x faster
training on 16-frame sequences.