Perceptio: Modelos de Linguagem Visual com Percepção Aprimorada por meio de Geração de Tokens Espaciais

Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

March 19, 2026

Autores: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler

cs.AI

Resumo

Os Grandes Modelos de Linguagem e Visão (LVLMs) destacam-se na compreensão semântica, mas lutam com a ancoragem espacial de granularidade fina, uma vez que o modelo deve inferir implicitamente geometrias complexas sem nunca produzir uma interpretação espacial. Apresentamos o Perceptio, um LVLM com percepção aprimorada e capacidades de raciocínio espacial 2D e 3D, possibilitadas através de *tokens* de segmentação semântica e de profundidade gerados explicitamente diretamente dentro da sequência autoregressiva. Concretamente, nós (i) destilamos um codebook de profundidade VQ-VAE a partir de um forte professor monocular para tokenizar a profundidade densa em sequências compactas, e (ii) integramos *tokens* de segmentação semântica baseados no SAM2 e *tokens* de profundidade VQ-VAE dentro do LLM, de modo que o modelo emite primeiro os *tokens* espaciais e depois responde. Para estabilizar a geração de *tokens* de profundidade, introduzimos novos objetivos compostos para *tokens* de profundidade (perdas de marcador, *token* e contagem) e uma técnica de *soft-merging* para reconstrução diferenciável. Adotamos uma estratégia de treino conjunto multi-tarefa em diversos conjuntos de dados, permitindo que o modelo aprenda *tokens* de percepção para abordar múltiplas tarefas subsequentes. Construído sobre o InternVL, o Perceptio atinge um desempenho state-of-the-art em várias benchmarks: melhora a segmentação por expressão referencial em +0,8/+1,4/+1,1 cIoU no RefCOCO/+/g, aumenta a precisão de compreensão espacial do HardBLINK em 10,3% e a precisão do MMBench em 1,0%, demonstrando que uma cadeia de pensamento espacial explícita fortalece materialmente a ancoragem espacial nos LVLMs.

English

Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.