Perceptio: Модели «зрение-язык» с улучшенным восприятием за счет генерации пространственных токенов

Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

March 19, 2026

Авторы: Yuchen Li, Amanmeet Garg, Shalini Chaudhuri, Rui Zhao, Garin Kessler

cs.AI

Аннотация

Крупные визуально-языковые модели (LVLM) превосходно справляются с семантическим пониманием, но испытывают трудности с тонкой пространственной привязкой, поскольку модель должна неявно выводить сложную геометрию, никогда не производя пространственной интерпретации. Мы представляем Perceptio — улучшенную LVLM с восприятием, обладающую способностями к 2D- и 3D-пространственному рассуждению, благодаря явным токенам семантической сегментации и токенам глубины, генерируемым непосредственно внутри авторегрессионной последовательности. Конкретно мы (i) дистиллируем кодбук глубины VQ-VAE из сильного монокулярного учителя для токенизации плотной глубины в компактные последовательности и (ii) интегрируем токены семантической сегментации на основе SAM2 и токены глубины VQ-VAE внутрь LLM, так что модель сначала излучает пространственные токены, а затем отвечает. Для стабилизации генерации токенов глубины мы вводим новые составные целевые функции для токенов глубины (маркерные, токенные и счетные потери) и технику мягкого слияния для дифференцируемой реконструкции. Мы применяем стратегию многозадального совместного обучения на разнообразных наборах данных, позволяя модели изучать токены восприятия для решения множества последующих задач. Построенная на основе InternVL, Perceptio достигает передовой производительности на бенчмарках: улучшая сегментацию по референциальным выражениям на +0.8/+1.4/+1.1 cIoU на RefCOCO/+/g, точность пространственного понимания HardBLINK на 10.3% и точность MMBench на 1.0%, что демонстрирует, что явная пространственная цепочка рассуждений существенно усиливает пространственную привязку в LVLM.

English

Large Vision Language Models (LVLMs) excel at semantic understanding but struggle with fine grained spatial grounding, as the model must implicitly infer complex geometry without ever producing a spatial interpretation. We present Perceptio, a perception enhanced LVLM with 2D and 3D spatial reasoning abilities, enabled via explicit semantic segmentation tokens and depth tokens generated directly within the autoregressive sequence. Concretely, we (i) distill a VQVAE depth codebook from a strong monocular teacher to tokenize dense depth into compact sequences, and (ii) integrate SAM2 based semantic segmentation tokens and VQ-VAE depth tokens inside the LLM so the model first emits spatial tokens and then answers. To stabilize depth token generation, we introduce novel composite depth-token objectives (marker, token, and count losses) and a soft-merging technique for differentiable reconstruction. We adopt a multi-task co-training strategy across diverse datasets, letting the model learn perception tokens to tackle multiple downstream tasks. Building on InternVL, Perceptio achieves state-of-the-art performance across benchmarks: improving referring expression segmentation by +0.8/+1.4/+1.1 cIoU on RefCOCO/+/g HardBLINK spatial understanding accuracy by 10.3%, and MMBench accuracy by 1.0%, demonstrating that explicit spatial chain-of-thought materially strengthens spatial grounding in LVLMs.