VidEoMT : Votre ViT est secrètement aussi un modèle de segmentation vidéo
VidEoMT: Your ViT is Secretly Also a Video Segmentation Model
February 19, 2026
papers.authors: Narges Norouzi, Idil Esen Zulfikar, Niccol`o Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus
cs.AI
papers.abstract
Les modèles de segmentation vidéo en ligne existants combinent généralement un segmenteur par image avec des modules de suivi spécialisés complexes. Bien qu'efficaces, ces modules introduisent une complexité architecturale et une charge computationnelle importantes. Des études récentes suggèrent que les encodeurs Vision Transformer (ViT) standard, lorsqu'ils sont dimensionnés avec une capacité suffisante et un pré-entraînement à grande échelle, peuvent réaliser une segmentation d'image précise sans nécessiter de modules spécialisés. Motivés par cette observation, nous proposons le VidEoMT (Video Encoder-only Mask Transformer), un modèle de segmentation vidéo simple à encodeur unique qui élimine le besoin de modules de suivi dédiés. Pour permettre la modélisation temporelle dans un ViT à encodeur unique, VidEoMT introduit un mécanisme de propagation de requêtes léger qui transporte l'information entre les images en réutilisant les requêtes de l'image précédente. Pour équilibrer cela avec l'adaptabilité au nouveau contenu, il utilise une stratégie de fusion de requêtes qui combine les requêtes propagées avec un ensemble de requêtes apprises agnostiques au temps. Ainsi, VidEoMT obtient les avantages d'un tracker sans complexité ajoutée, atteignant une précision compétitive tout en étant 5 à 10 fois plus rapide, fonctionnant jusqu'à 160 IPS avec un backbone ViT-L. Code : https://www.tue-mps.org/videomt/
English
Existing online video segmentation models typically combine a per-frame segmenter with complex specialized tracking modules. While effective, these modules introduce significant architectural complexity and computational overhead. Recent studies suggest that plain Vision Transformer (ViT) encoders, when scaled with sufficient capacity and large-scale pre-training, can conduct accurate image segmentation without requiring specialized modules. Motivated by this observation, we propose the Video Encoder-only Mask Transformer (VidEoMT), a simple encoder-only video segmentation model that eliminates the need for dedicated tracking modules. To enable temporal modeling in an encoder-only ViT, VidEoMT introduces a lightweight query propagation mechanism that carries information across frames by reusing queries from the previous frame. To balance this with adaptability to new content, it employs a query fusion strategy that combines the propagated queries with a set of temporally-agnostic learned queries. As a result, VidEoMT attains the benefits of a tracker without added complexity, achieving competitive accuracy while being 5x--10x faster, running at up to 160 FPS with a ViT-L backbone. Code: https://www.tue-mps.org/videomt/