PMT: Plain Mask Transformer per la Segmentazione di Immagini e Video con Encoder Visivi Congelati

PMT: Plain Mask Transformer for Image and Video Segmentation with Frozen Vision Encoders

March 26, 2026

Autori: Niccolò Cavagnero, Narges Norouzi, Gijs Dubbelman, Daan de Geus

cs.AI

Abstract

I Vision Foundation Model (VFM) pre-addestrati su larga scala consentono a un singolo encoder congelato di servire simultaneamente molteplici task downstream. I recenti modelli encoder-only basati su VFM per la segmentazione di immagini e video, come EoMT e VidEoMT, raggiungono un'accuratezza competitiva con una latenza notevolmente bassa; tuttavia, richiedono il fine-tuning dell'encoder, sacrificando la condivisione multi-task dell'encoder che rende i VFM praticamente attraenti per il deployment su larga scala. Per conciliare la semplicità e la velocità dell'approccio encoder-only con le caratteristiche congelate dei VFM, proponiamo il Plain Mask Decoder (PMD), un decoder per la segmentazione veloce basato su Transformer che opera su feature VFM congelate. Il modello risultante, il Plain Mask Transformer (PMT), preserva la semplicità architetturale e la bassa latenza dei design encoder-only mantenendo inalterata e condivisibile la rappresentazione dell'encoder. Il design si applica perfettamente sia alla segmentazione di immagini che di video, ereditando la generalità del framework encoder-only. Su benchmark standard di segmentazione di immagini, PMT eguaglia lo stato dell'arte per encoder congelati mentre è fino a ~3 volte più veloce. Per la segmentazione video, performa addirittura alla pari con metodi completamente sottoposti a fine-tuning, pur essendo fino a 8 volte più veloce dei modelli all'avanguardia con encoder congelato. Codice: https://github.com/tue-mps/pmt.

English

Vision Foundation Models (VFMs) pre-trained at scale enable a single frozen encoder to serve multiple downstream tasks simultaneously. Recent VFM-based encoder-only models for image and video segmentation, such as EoMT and VidEoMT, achieve competitive accuracy with remarkably low latency, yet they require finetuning the encoder, sacrificing the multi-task encoder sharing that makes VFMs practically attractive for large-scale deployment. To reconcile encoder-only simplicity and speed with frozen VFM features, we propose the Plain Mask Decoder (PMD), a fast Transformer-based segmentation decoder that operates on top of frozen VFM features. The resulting model, the Plain Mask Transformer (PMT), preserves the architectural simplicity and low latency of encoder-only designs while keeping the encoder representation unchanged and shareable. The design seamlessly applies to both image and video segmentation, inheriting the generality of the encoder-only framework. On standard image segmentation benchmarks, PMT matches the frozen-encoder state of the art while running up to ~3x faster. For video segmentation, it even performs on par with fully finetuned methods, while being up to 8x faster than state-of-the-art frozen-encoder models. Code: https://github.com/tue-mps/pmt.