Perceptio : Amélioration des modèles de vision et de langage par la génération de tokens spatiaux pour la perception

Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

March 19, 2026

Auteurs: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler

cs.AI

Résumé

Les grands modèles de vision et langage (LVLM) excellent dans la compréhension sémantique mais peinent à ancrer spatialement les informations fines, car le modèle doit inférer implicitement une géométrie complexe sans jamais produire d'interprétation spatiale. Nous présentons Perceptio, un LVLM augmenté par la perception doté de capacités de raisonnement spatial 2D et 3D, permis par des tokens de segmentation sémantique et des tokens de profondeur générés explicitement dans la séquence auto-régressive. Concrètement, nous (i) distillons un codebook de profondeur VQ-VAE à partir d'un enseignant monoculaire performant pour tokeniser la profondeur dense en séquences compactes, et (ii) intégrons des tokens de segmentation sémantique basés sur SAM2 et des tokens de profondeur VQ-VAE au sein du LLM, afin que le modèle émette d'abord des tokens spatiaux puis réponde. Pour stabiliser la génération des tokens de profondeur, nous introduisons de nouveaux objectifs composites sur les tokens de profondeur (pertes de marqueur, de token et de comptage) et une technique de fusion douce pour une reconstruction différentiable. Nous adoptons une stratégie d'apprentissage multi-tâche sur divers jeux de données, permettant au modèle d'apprendre les tokens de perception pour résoudre plusieurs tâches en aval. Basé sur InternVL, Perceptio obtient des performances de pointe sur plusieurs benchmarks : il améliore la segmentation par expressions référentielles de +0,8/+1,4/+1,1 cIoU sur RefCOCO/+/g, la précision de compréhension spatiale HardBLINK de 10,3 %, et la précision MMBench de 1,0 %, démontrant qu'un enchaînement de pensée spatial explicite renforce matériellement l'ancrage spatial dans les LVLM.

English

Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.