Rumo à Percepção em Nível de Pixel em VLMs por meio de Previsão Simples de Pontos

Towards Pixel-Level VLM Perception via Simple Points Prediction

January 27, 2026

Autores: Tianhui Song, Haoyu Lu, Hao Yang, Lin Sui, Haoning Wu, Zaida Zhou, Zhiqi Huang, Yiping Bao, Y. Charles, Xinyu Zhou, Limin Wang

cs.AI

Resumo

Apresentamos o SimpleSeg, uma abordagem surpreendentemente simples, porém altamente eficaz, para dotar os Modelos de Linguagem Multimodal de Grande Porte (MLLMs) com percepção nativa a nível de pixel. Nosso método reformula a segmentação como um simples problema de geração de sequência: o modelo prevê diretamente sequências de pontos (coordenadas textuais) que delimitam os contornos dos objetos, inteiramente dentro do seu espaço linguístico. Para alcançar alta fidelidade, introduzimos um *pipeline* de treinamento em dois estágios, SFtoRL, onde o Aprendizado por Reforço com uma recompensa baseada em IoU aprimora as sequências de pontos para corresponder com precisão aos contornos de referência (*ground-truth*). Descobrimos que a arquitetura padrão do MLLM possui uma forte capacidade inerente para percepção de baixo nível que pode ser desbloqueada sem qualquer arquitetura especializada. Em *benchmarks* de segmentação, o SimpleSeg alcança um desempenho comparável e, frequentemente, superior ao de métodos que dependem de projetos complexos e específicos para a tarefa. Este trabalho demonstra que a compreensão espacial precisa pode emergir de uma simples previsão de pontos, desafiando a necessidade predominante de componentes auxiliares e abrindo caminho para Modelos de Linguagem Visual mais unificados e capazes. Página inicial: https://simpleseg.github.io/

English

We present SimpleSeg, a strikingly simple yet highly effective approach to endow Multimodal Large Language Models (MLLMs) with native pixel-level perception. Our method reframes segmentation as a simple sequence generation problem: the model directly predicts sequences of points (textual coordinates) delineating object boundaries, entirely within its language space. To achieve high fidelity, we introduce a two-stage SFtoRL training pipeline, where Reinforcement Learning with an IoU-based reward refines the point sequences to accurately match ground-truth contours. We find that the standard MLLM architecture possesses a strong, inherent capacity for low-level perception that can be unlocked without any specialized architecture. On segmentation benchmarks, SimpleSeg achieves performance that is comparable to, and often surpasses, methods relying on complex, task-specific designs. This work lays out that precise spatial understanding can emerge from simple point prediction, challenging the prevailing need for auxiliary components and paving the way for more unified and capable VLMs. Homepage: https://simpleseg.github.io/