Verso una Percezione VLM a Livello di Pixel tramite una Semplice Predizione di Punti

Towards Pixel-Level VLM Perception via Simple Points Prediction

January 27, 2026

Autori: Tianhui Song, Haoyu Lu, Hao Yang, Lin Sui, Haoning Wu, Zaida Zhou, Zhiqi Huang, Yiping Bao, Y. Charles, Xinyu Zhou, Limin Wang

cs.AI

Abstract

Presentiamo SimpleSeg, un approccio sorprendentemente semplice ma altamente efficace per dotare i Modelli Linguistici Multimodali (MLLM) di una percezione nativa a livello di pixel. Il nostro metodo ridefinisce la segmentazione come un semplice problema di generazione di sequenze: il modello predice direttamente sequenze di punti (coordinate testuali) che delineano i contorni degli oggetti, interamente all'interno del suo spazio linguistico. Per ottenere un'alta fedeltà, introduciamo una pipeline di addestramento in due fasi SFtoRL, in cui l'Apprendimento per Rinforzo con una ricompensa basata sull'IoU affina le sequenze di punti per farle corrispondere accuratamente ai contorni di verità fondamentale. Scopriamo che l'architettura standard degli MLLM possiede una forte capacità intrinseca per la percezione di basso livello che può essere sbloccata senza alcuna architettura specializzata. Sui benchmark di segmentazione, SimpleSeg raggiunge prestazioni paragonabili, e spesso superiori, a metodi che si basano su progetti complessi e specifici per il compito. Questo lavoro dimostra che una comprensione spaziale precisa può emergere dalla semplice predizione di punti, mettendo in discussione la necessità prevalente di componenti ausiliarie e spianando la strada per VLM più unificati e capaci. Homepage: https://simpleseg.github.io/

English

We present SimpleSeg, a strikingly simple yet highly effective approach to endow Multimodal Large Language Models (MLLMs) with native pixel-level perception. Our method reframes segmentation as a simple sequence generation problem: the model directly predicts sequences of points (textual coordinates) delineating object boundaries, entirely within its language space. To achieve high fidelity, we introduce a two-stage SFtoRL training pipeline, where Reinforcement Learning with an IoU-based reward refines the point sequences to accurately match ground-truth contours. We find that the standard MLLM architecture possesses a strong, inherent capacity for low-level perception that can be unlocked without any specialized architecture. On segmentation benchmarks, SimpleSeg achieves performance that is comparable to, and often surpasses, methods relying on complex, task-specific designs. This work lays out that precise spatial understanding can emerge from simple point prediction, challenging the prevailing need for auxiliary components and paving the way for more unified and capable VLMs. Homepage: https://simpleseg.github.io/