PMT: Plain Mask Transformer für Bild- und Videosegmentierung mit eingefrorenen Vision-Encodern

PMT: Plain Mask Transformer for Image and Video Segmentation with Frozen Vision Encoders

March 26, 2026

Autoren: Niccolò Cavagnero, Narges Norouzi, Gijs Dubbelman, Daan de Geus

cs.AI

Zusammenfassung

Vision Foundation Models (VFMs), die in großem Maßstab vortrainiert wurden, ermöglichen es einem einzigen eingefrorenen Encoder, mehrere nachgelagerte Aufgaben gleichzeitig zu bedienen. Aktuelle encoder-only-Modelle auf VFM-Basis für die Bild- und Videosegmentierung, wie EoMT und VidEoMT, erreichen eine wettbewerbsfähige Genauigkeit mit bemerkenswert niedriger Latenz, erfordern jedoch eine Feinabstimmung des Encoders, was die für großflächige Bereitstellungen praktisch attraktive Mehrfachnutzung des Encoders opfert. Um die Einfachheit und Geschwindigkeit von encoder-only-Architekturen mit den eingefrorenen VFM-Merkmalen in Einklang zu bringen, schlagen wir den Plain Mask Decoder (PMD) vor – einen schnellen, transformerbasierten Segmentierungs-Decoder, der auf eingefrorenen VFM-Merkmalen arbeitet. Das resultierende Modell, der Plain Mask Transformer (PMT), bewahrt die architektonische Einfachheit und niedrige Latenz von encoder-only-Designs, während die Encoder-Repräsentation unverändert und gemeinsam nutzbar bleibt. Das Design lässt sich nahtlos sowohl auf die Bild- als auch auf die Videosegmentierung anwenden und erbt damit die Allgemeingültigkeit des encoder-only-Frameworks. Bei standardmäßigen Benchmarks für Bildsegmentierung erreicht PMT den Stand der Technik bei eingefrorenem Encoder, ist dabei aber bis zu ~3x schneller. Für die Videosegmentierung liegt es sogar auf Augenhöhe mit vollständig feinabgestimmten Methoden und ist dabei bis zu 8x schneller als state-of-the-art Modelle mit eingefrorenem Encoder. Code: https://github.com/tue-mps/pmt.

English

Vision Foundation Models (VFMs) pre-trained at scale enable a single frozen encoder to serve multiple downstream tasks simultaneously. Recent VFM-based encoder-only models for image and video segmentation, such as EoMT and VidEoMT, achieve competitive accuracy with remarkably low latency, yet they require finetuning the encoder, sacrificing the multi-task encoder sharing that makes VFMs practically attractive for large-scale deployment. To reconcile encoder-only simplicity and speed with frozen VFM features, we propose the Plain Mask Decoder (PMD), a fast Transformer-based segmentation decoder that operates on top of frozen VFM features. The resulting model, the Plain Mask Transformer (PMT), preserves the architectural simplicity and low latency of encoder-only designs while keeping the encoder representation unchanged and shareable. The design seamlessly applies to both image and video segmentation, inheriting the generality of the encoder-only framework. On standard image segmentation benchmarks, PMT matches the frozen-encoder state of the art while running up to ~3x faster. For video segmentation, it even performs on par with fully finetuned methods, while being up to 8x faster than state-of-the-art frozen-encoder models. Code: https://github.com/tue-mps/pmt.