Perceptio: Visie-Taalmodellen met Verbeterde Waarneming via Generatie van Ruimtelijke Tokens

Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

March 19, 2026

Auteurs: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler

cs.AI

Samenvatting

Grote Vision-Taalmodellen (LVLM's) blinken uit in semantisch begrip maar hebben moeite met fijnmazige ruimtelijke verankering, omdat het model complexe geometrie impliciet moet afleiden zonder ooit een ruimtelijke interpretatie te produceren. Wij presenteren Perceptio, een perceptie-versterkt LVLM met 2D- en 3D-ruimtelijk redeneervermogen, mogelijk gemaakt via expliciete semantische segmentatietokens en dieptetokens die direct in de autoregressieve sequentie worden gegenereerd. Concreet: (i) destilleren we een VQ-VAE-dieptecodeboek van een sterke monocular teacher om dichte diepte te tokeniseren tot compacte sequenties, en (ii) integreren we SAM2-gebaseerde semantische segmentatietokens en VQ-VAE-dieptetokens in het LLM, zodat het model eerst ruimtelijke tokens uitstuurt en daarna antwoordt. Om de dieptetoken-generatie te stabiliseren, introduceren we nieuwe samengestelde dieptetoken-doelstellingen (marker-, token- en telverliezen) en een soft-merging-techniek voor differentieerbare reconstructie. We hanteren een multi-task co-trainingsstrategie over diverse datasets, waardoor het model perceptietokens leert om meerdere downstreamtaken aan te pakken. Voortbouwend op InternVL behaalt Perceptio state-of-the-art prestaties op benchmarks: het verbetert referring expression segmentation met +0,8/+1,4/+1,1 cIoU op RefCOCO/+/g, verhoogt de ruimtelijk begripsnauwkeurigheid van HardBLINK met 10,3% en de MMBench-nauwkeurigheid met 1,0%. Dit demonstreert dat een expliciete ruimtelijke redeneerketen de ruimtelijke verankering in LVLM's substantieel versterkt.

English

Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.