VidEoMT: Il tuo ViT è segretamente anche un modello di segmentazione video

VidEoMT: Your ViT is Secretly Also a Video Segmentation Model

February 19, 2026

Autori: Narges Norouzi, Idil Esen Zulfikar, Niccol`o Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus

cs.AI

Abstract

I modelli esistenti per la segmentazione di video online tipicamente combinano un segmentatore per fotogramma con moduli di tracking specializzati e complessi. Sebbene efficaci, questi moduli introducono una significativa complessità architetturale e un sovraccarico computazionale. Studi recenti suggeriscono che encoder basati su Vision Transformer (ViT) standard, quando scalati con sufficiente capacità e pre-addestramento su larga scala, possono condurre una segmentazione accurata delle immagini senza richiedere moduli specializzati. Motivati da questa osservazione, proponiamo il Video Encoder-only Mask Transformer (VidEoMT), un semplice modello di segmentazione video basato sul solo encoder che elimina la necessità di moduli di tracking dedicati. Per abilitare la modellazione temporale in un ViT a solo encoder, VidEoMT introduce un meccanismo di propagazione delle query leggero che trasporta informazioni tra i fotogrammi riutilizzando le query del fotogramma precedente. Per bilanciare ciò con l'adattabilità ai nuovi contenuti, impiega una strategia di fusione delle query che combina le query propagate con un insieme di query apprese temporalmente agnostiche. Di conseguenza, VidEoMT ottiene i vantaggi di un tracker senza complessità aggiuntive, raggiungendo un'accuratezza competitiva pur essendo da 5 a 10 volte più veloce, operando fino a 160 FPS con un backbone ViT-L. Codice: https://www.tue-mps.org/videomt/

English

Existing online video segmentation models typically combine a per-frame segmenter with complex specialized tracking modules. While effective, these modules introduce significant architectural complexity and computational overhead. Recent studies suggest that plain Vision Transformer (ViT) encoders, when scaled with sufficient capacity and large-scale pre-training, can conduct accurate image segmentation without requiring specialized modules. Motivated by this observation, we propose the Video Encoder-only Mask Transformer (VidEoMT), a simple encoder-only video segmentation model that eliminates the need for dedicated tracking modules. To enable temporal modeling in an encoder-only ViT, VidEoMT introduces a lightweight query propagation mechanism that carries information across frames by reusing queries from the previous frame. To balance this with adaptability to new content, it employs a query fusion strategy that combines the propagated queries with a set of temporally-agnostic learned queries. As a result, VidEoMT attains the benefits of a tracker without added complexity, achieving competitive accuracy while being 5x--10x faster, running at up to 160 FPS with a ViT-L backbone. Code: https://www.tue-mps.org/videomt/