VidEoMT: Ваш ViT — это на самом деле ещё и модель видеосегментации

VidEoMT: Your ViT is Secretly Also a Video Segmentation Model

February 19, 2026

Авторы: Narges Norouzi, Idil Esen Zulfikar, Niccol`o Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus

cs.AI

Аннотация

Существующие модели онлайн-сегментации видео обычно сочетают покадровый сегментатор со сложными специализированными модулями отслеживания. Несмотря на эффективность, эти модули вносят значительную архитектурную сложность и вычислительные затраты. Недавние исследования показывают, что простые кодировщики на основе архитектуры Vision Transformer (ViT), при масштабировании с достаточной емкостью и крупномасштабным предварительным обучением, могут выполнять точную сегментацию изображений без необходимости в специализированных модулях. Руководствуясь этим наблюдением, мы предлагаем Video Encoder-only Mask Transformer (VidEoMT) — простую модель сегментации видео только с кодировщиком, которая устраняет необходимость в выделенных модулях отслеживания. Чтобы обеспечить временное моделирование в ViT только с кодировщиком, VidEoMT вводит легковесный механизм распространения запросов, который передает информацию между кадрами путем повторного использования запросов из предыдущего кадра. Для балансировки этого механизма с адаптивностью к новому содержимому используется стратегия слияния запросов, объединяющая распространяемые запросы с набором временно-инвариантных обучаемых запросов. В результате VidEoMT получает преимущества трекера без добавления сложности, достигая конкурентоспособной точности при скорости работы в 5–10 раз выше (до 160 кадров/с с основой ViT-L). Код: https://www.tue-mps.org/videomt/

English

Existing online video segmentation models typically combine a per-frame segmenter with complex specialized tracking modules. While effective, these modules introduce significant architectural complexity and computational overhead. Recent studies suggest that plain Vision Transformer (ViT) encoders, when scaled with sufficient capacity and large-scale pre-training, can conduct accurate image segmentation without requiring specialized modules. Motivated by this observation, we propose the Video Encoder-only Mask Transformer (VidEoMT), a simple encoder-only video segmentation model that eliminates the need for dedicated tracking modules. To enable temporal modeling in an encoder-only ViT, VidEoMT introduces a lightweight query propagation mechanism that carries information across frames by reusing queries from the previous frame. To balance this with adaptability to new content, it employs a query fusion strategy that combines the propagated queries with a set of temporally-agnostic learned queries. As a result, VidEoMT attains the benefits of a tracker without added complexity, achieving competitive accuracy while being 5x--10x faster, running at up to 160 FPS with a ViT-L backbone. Code: https://www.tue-mps.org/videomt/