Perceptio: Modelos de Lenguaje Visual Mejorados en Percepción mediante Generación de Tokens Espaciales
Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation
March 19, 2026
Autores: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler
cs.AI
Resumen
Los Grandes Modelos de Lenguaje y Visión (LVLM) sobresalen en comprensión semántica pero presentan dificultades en la fundamentación espacial de grano fino, ya que el modelo debe inferir implícitamente geometrías complejas sin producir nunca una interpretación espacial. Presentamos Perceptio, un LVLM mejorado con capacidades de razonamiento espacial 2D y 3D, habilitadas mediante tokens de segmentación semántica y tokens de profundidad generados directamente dentro de la secuencia autoregresiva. Concretamente, (i) destilamos un codebook de profundidad VQ-VAE a partir de un sólido profesor monocular para tokenizar la profundidad densa en secuencias compactas, e (ii) integramos tokens de segmentación semántica basados en SAM2 y tokens de profundidad VQ-VAE dentro del LLM, de modo que el modelo primero emite tokens espaciales y luego responde. Para estabilizar la generación de tokens de profundidad, introducimos nuevos objetivos compuestos para tokens de profundidad (pérdidas de marcador, token y conteo) y una técnica de fusión suave para la reconstrucción diferenciable. Adoptamos una estrategia de entrenamiento conjunto multi-tarea en diversos conjuntos de datos, permitiendo que el modelo aprenda tokens de percepción para abordar múltiples tareas posteriores. Basado en InternVL, Perceptio logra un rendimiento de vanguardia en diversos benchmarks: mejora la segmentación por expresión referencial en +0.8/+1.4/+1.1 cIoU en RefCOCO/+/g, aumenta la precisión en comprensión espacial de HardBLINK en un 10.3% y la precisión de MMBench en un 1.0%, demostrando que una cadena de pensamiento espacial explícita fortalece materialmente la fundamentación espacial en los LVLM.
English
Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.