Perceptio: Wahrnehmungsverbesserte Vision-Sprach-Modelle durch räumliche Token-Erzeugung

Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

March 19, 2026

Autoren: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler

cs.AI

Zusammenfassung

Große visuell-sprachliche Modelle (LVLMs) zeichnen sich durch semantisches Verständnis aus, haben jedoch Schwierigkeiten mit feinkörniger räumlicher Verankerung, da das Modell komplexe Geometrie implizit ableiten muss, ohne jemals eine räumliche Interpretation zu erzeugen. Wir stellen Perceptio vor, ein wahrnehmungsverstärktes LVLM mit 2D- und 3D-Raumverstandfähigkeiten, ermöglicht durch explizite semantische Segmentierungstokens und Tiefentokens, die direkt innerhalb der autoregressiven Sequenz erzeugt werden. Konkret (i) destillieren wir ein VQ-VAE-Tiefencodebuch von einem starken monokularen Lehrer, um dichte Tiefeninformationen in kompakte Sequenzen zu tokenisieren, und (ii) integrieren SAM2-basierte semantische Segmentierungstokens und VQ-VAE-Tiefentokens innerhalb des LLM, sodass das Modell zuerst räumliche Tokens ausgibt und dann antwortet. Um die Tiefentoken-Generierung zu stabilisieren, führen wir neuartige kombinierte Tiefentoken-Ziele ein (Marker-, Token- und Zählverluste) und eine Soft-Merging-Technik für differenzierbare Rekonstruktion. Wir verwenden eine Multi-Task-Co-Training-Strategie über diverse Datensätze hinweg, die es dem Modell ermöglicht, Wahrnehmungstokens zu erlernen, um mehrere nachgelagerte Aufgaben zu bewältigen. Aufbauend auf InternVL erzielt Perceptio state-of-the-art Leistung in Benchmarks: Steigerung der Referring Expression Segmentation um +0,8/+1,4/+1,1 cIoU auf RefCOCO/+/g, Steigerung der räumlichen Verständnisgenauigkeit von HardBLINK um 10,3 % und der MMBench-Genauigkeit um 1,0 %. Dies demonstriert, dass explizite räumliche Denkketten die räumliche Verankerung in LVLMs wesentlich stärken.

English

Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.