VidEoMT: Je ViT is stilletjes ook een videosegmentatiemodel

VidEoMT: Your ViT is Secretly Also a Video Segmentation Model

February 19, 2026

Auteurs: Narges Norouzi, Idil Esen Zulfikar, Niccol`o Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus

cs.AI

Samenvatting

Bestaande online videosegmentatiemodellen combineren doorgaans een per-frame-segmentatiemodel met complexe gespecialiseerde trackingmodules. Hoewel effectief, introduceren deze modules aanzienlijke architecturale complexiteit en rekenkosten. Recente studies suggereren dat standaard Vision Transformer (ViT)-encoders, wanneer geschaald met voldoende capaciteit en grootschalige voorafgaande training, nauwkeurige beeldsegmentatie kunnen uitvoeren zonder gespecialiseerde modules. Gemotiveerd door deze observatie stellen we de Video Encoder-only Mask Transformer (VidEoMT) voor, een eenvoudig encoder-only videosegmentatiemodel dat de noodzaak voor toegewijde trackingmodules elimineert. Om temporele modellering mogelijk te maken in een encoder-only ViT, introduceert VidEoMT een lichtgewicht querypropagatiemechanisme dat informatie tussen frames overdraagt door queries van het vorige frame te hergebruiken. Om dit in evenwicht te brengen met aanpassingsvermogen aan nieuwe inhoud, gebruikt het een queryfusiestrategie die de gepropageerde queries combineert met een set temporeel-agnostische aangeleerde queries. Hierdoor bereikt VidEoMT de voordelen van een tracker zonder toegevoegde complexiteit, waarbij het competitieve nauwkeurigheid behaalt terwijl het 5x tot 10x sneller is, met een snelheid tot 160 FPS met een ViT-L-backbone. Code: https://www.tue-mps.org/videomt/

English

Existing online video segmentation models typically combine a per-frame segmenter with complex specialized tracking modules. While effective, these modules introduce significant architectural complexity and computational overhead. Recent studies suggest that plain Vision Transformer (ViT) encoders, when scaled with sufficient capacity and large-scale pre-training, can conduct accurate image segmentation without requiring specialized modules. Motivated by this observation, we propose the Video Encoder-only Mask Transformer (VidEoMT), a simple encoder-only video segmentation model that eliminates the need for dedicated tracking modules. To enable temporal modeling in an encoder-only ViT, VidEoMT introduces a lightweight query propagation mechanism that carries information across frames by reusing queries from the previous frame. To balance this with adaptability to new content, it employs a query fusion strategy that combines the propagated queries with a set of temporally-agnostic learned queries. As a result, VidEoMT attains the benefits of a tracker without added complexity, achieving competitive accuracy while being 5x--10x faster, running at up to 160 FPS with a ViT-L backbone. Code: https://www.tue-mps.org/videomt/