PMT: Plain Mask Transformer для сегментации изображений и видео с замороженными визуальными энкодерами

PMT: Plain Mask Transformer for Image and Video Segmentation with Frozen Vision Encoders

March 26, 2026

Авторы: Niccolò Cavagnero, Narges Norouzi, Gijs Dubbelman, Daan de Geus

cs.AI

Аннотация

Модели компьютерного зрения (VFMs), предварительно обученные в большом масштабе, позволяют одному замороженному энкодеру одновременно обслуживать множество последующих задач. Недавние основанные на VFM энкодерные модели для сегментации изображений и видео, такие как EoMT и VidEoMT, достигают конкурентоспособной точности с очень низкой задержкой, однако они требуют дообучения энкодера, жертвуя возможностью совместного использования энкодера для многозадачности, что делает VFMs практически привлекательными для крупномасштабного развертывания. Чтобы совместить простоту и скорость энкодерных архитектур с использованием замороженных признаков VFM, мы предлагаем Plain Mask Decoder (PMD) — быстрый декодер сегментации на основе трансформера, который работает поверх замороженных признаков VFM. Полученная модель, Plain Mask Transformer (PMT), сохраняет архитектурную простоту и низкую задержку энкодерных конструкций, при этом оставляя представление энкодера неизменным и доступным для совместного использования. Дизайн бесшовно применяется как для сегментации изображений, так и для видео, наследуя универсальность энкодерного подхода. На стандартных бенчмарках сегментации изображений PMT соответствует современным достижениям для замороженных энкодеров, при этом работая до ~3 раз быстрее. Для сегментации видео она даже показывает результаты на уровне полностью дообученных методов, будучи до 8 раз быстрее современных моделей с замороженным энкодером. Код: https://github.com/tue-mps/pmt.

English

Vision Foundation Models (VFMs) pre-trained at scale enable a single frozen encoder to serve multiple downstream tasks simultaneously. Recent VFM-based encoder-only models for image and video segmentation, such as EoMT and VidEoMT, achieve competitive accuracy with remarkably low latency, yet they require finetuning the encoder, sacrificing the multi-task encoder sharing that makes VFMs practically attractive for large-scale deployment. To reconcile encoder-only simplicity and speed with frozen VFM features, we propose the Plain Mask Decoder (PMD), a fast Transformer-based segmentation decoder that operates on top of frozen VFM features. The resulting model, the Plain Mask Transformer (PMT), preserves the architectural simplicity and low latency of encoder-only designs while keeping the encoder representation unchanged and shareable. The design seamlessly applies to both image and video segmentation, inheriting the generality of the encoder-only framework. On standard image segmentation benchmarks, PMT matches the frozen-encoder state of the art while running up to ~3x faster. For video segmentation, it even performs on par with fully finetuned methods, while being up to 8x faster than state-of-the-art frozen-encoder models. Code: https://github.com/tue-mps/pmt.