PMT: Plain Mask Transformer voor beeld- en videosegmentatie met bevroren visie-encoders

Samenvatting

Vision Foundation Models (VFMs) die op grote schaal zijn voorgetraind, maken het mogelijk dat een enkele bevroren encoder meerdere downstreamtaken gelijktijdig kan bedienen. Recente encoder-only modellen op basis van VFM's voor beeld- en videosegmentatie, zoals EoMT en VidEoMT, bereiken een competitieve nauwkeurigheid met opmerkelijk lage latentie, maar vereisen het finetunen van de encoder, waardoor ze de multi-task encoder-deling opofferen die VFM's praktisch aantrekkelijk maakt voor grootschalige implementatie. Om de eenvoud en snelheid van encoder-only ontwerpen te verzoenen met bevroren VFM-kenmerken, stellen we de Plain Mask Decoder (PMD) voor, een snelle op Transformers gebaseerde segmentatiedecoder die werkt op basis van bevroren VFM-kenmerken. Het resulterende model, de Plain Mask Transformer (PMT), behoudt de architecturale eenvoud en lage latentie van encoder-only ontwerpen, terwijl de encoderrepresentatie onveranderd en deelbaar blijft. Het ontwerp is naadloos toepasbaar op zowel beeld- als videosegmentatie en erft de algemeenheid van het encoder-only raamwerk. Op standaard benchmarks voor beeldsegmentatie evenaart PMT de state-of-the-art met een bevroren encoder, terwijl het tot ~3x sneller draait. Voor videosegmentatie presteert het zelfs gelijk aan volledig gefinetunede methoden, terwijl het tot 8x sneller is dan state-of-the-art modellen met bevroren encoder. Code: https://github.com/tue-mps/pmt.

English

Vision Foundation Models (VFMs) pre-trained at scale enable a single frozen encoder to serve multiple downstream tasks simultaneously. Recent VFM-based encoder-only models for image and video segmentation, such as EoMT and VidEoMT, achieve competitive accuracy with remarkably low latency, yet they require finetuning the encoder, sacrificing the multi-task encoder sharing that makes VFMs practically attractive for large-scale deployment. To reconcile encoder-only simplicity and speed with frozen VFM features, we propose the Plain Mask Decoder (PMD), a fast Transformer-based segmentation decoder that operates on top of frozen VFM features. The resulting model, the Plain Mask Transformer (PMT), preserves the architectural simplicity and low latency of encoder-only designs while keeping the encoder representation unchanged and shareable. The design seamlessly applies to both image and video segmentation, inheriting the generality of the encoder-only framework. On standard image segmentation benchmarks, PMT matches the frozen-encoder state of the art while running up to ~3x faster. For video segmentation, it even performs on par with fully finetuned methods, while being up to 8x faster than state-of-the-art frozen-encoder models. Code: https://github.com/tue-mps/pmt.