VidEoMT: Tu ViT es en secreto también un modelo de segmentación de vídeo
VidEoMT: Your ViT is Secretly Also a Video Segmentation Model
February 19, 2026
Autores: Narges Norouzi, Idil Esen Zulfikar, Niccol`o Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus
cs.AI
Resumen
Los modelos existentes de segmentación de vídeo online suelen combinar un segmentador por fotograma con módulos de seguimiento especializados y complejos. Aunque son efectivos, estos módulos introducen una complejidad arquitectónica y una sobrecarga computacional significativas. Estudios recientes sugieren que los codificadores Vision Transformer (ViT) básicos, cuando se escalan con suficiente capacidad y pre-entrenamiento a gran escala, pueden realizar una segmentación precisa de imágenes sin necesidad de módulos especializados. Motivados por esta observación, proponemos el Video Encoder-only Mask Transformer (VidEoMT), un modelo de segmentación de vídeo simple que solo utiliza un codificador y elimina la necesidad de módulos de seguimiento dedicados. Para permitir el modelado temporal en un ViT de solo codificación, VidEoMT introduce un mecanismo ligero de propagación de consultas que transporta información entre fotogramas reutilizando las consultas del fotograma anterior. Para equilibrar esto con la adaptabilidad a nuevo contenido, emplea una estrategia de fusión de consultas que combina las consultas propagadas con un conjunto de consultas aprendidas temporalmente agnósticas. Como resultado, VidEoMT obtiene las ventajas de un rastreador sin añadir complejidad, logrando una precisión competitiva mientras es entre 5 y 10 veces más rápido, funcionando hasta a 160 FPS con un backbone ViT-L. Código: https://www.tue-mps.org/videomt/
English
Existing online video segmentation models typically combine a per-frame segmenter with complex specialized tracking modules. While effective, these modules introduce significant architectural complexity and computational overhead. Recent studies suggest that plain Vision Transformer (ViT) encoders, when scaled with sufficient capacity and large-scale pre-training, can conduct accurate image segmentation without requiring specialized modules. Motivated by this observation, we propose the Video Encoder-only Mask Transformer (VidEoMT), a simple encoder-only video segmentation model that eliminates the need for dedicated tracking modules. To enable temporal modeling in an encoder-only ViT, VidEoMT introduces a lightweight query propagation mechanism that carries information across frames by reusing queries from the previous frame. To balance this with adaptability to new content, it employs a query fusion strategy that combines the propagated queries with a set of temporally-agnostic learned queries. As a result, VidEoMT attains the benefits of a tracker without added complexity, achieving competitive accuracy while being 5x--10x faster, running at up to 160 FPS with a ViT-L backbone. Code: https://www.tue-mps.org/videomt/