Цепочка визуального мышления: обучение VLM видеть и мыслить лучше с помощью непрерывных визуальных токенов
Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens
November 24, 2025
Авторы: Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, Xudong Wang
cs.AI
Аннотация
Модели «зрение–язык» (Vision-Language Models, VLM) преуспевают в рассуждениях в лингвистическом пространстве, но испытывают трудности с перцептивным пониманием, требующим плотного визуального восприятия, например, пространственного мышления и геометрического осознания. Это ограничение проистекает из того факта, что современные VLM имеют ограниченные механизмы для захвата плотной визуальной информации в пространственных измерениях. Мы представляем Chain-of-Visual-Thought (COVT) — фреймворк, который позволяет VLM рассуждать не только словами, но и с помощью непрерывных визуальных токенов — компактных латентных представлений, кодирующих богатые перцептивные признаки. В рамках небольшого бюджета примерно в 20 токенов COVT извлекает знания от облегченных визуальных экспертов, захватывая дополнительные свойства, такие как 2D-внешний вид, 3D-геометрия, пространственная компоновка и структура границ. Во время обучения VLM с COVT авторегрессивно предсказывает эти визуальные токены для реконструкции плотных сигналов супервизии (например, глубины, сегментации, границ и DINO-признаков). На этапе вывода модель рассуждает непосредственно в пространстве непрерывных визуальных токенов, сохраняя эффективность, с возможностью декодирования плотных предсказаний для интерпретируемости. Оценка на более чем десяти разнообразных перцептивных бенчмарках, включая CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA и HRBench, показала, что интеграция COVT в мощные VLM, такие как Qwen2.5-VL и LLaVA, стабильно улучшает производительность на 3–16% и демонстрирует, что компактное непрерывное визуальное мышление обеспечивает более точный, обоснованный и интерпретируемый мультимодальный интеллект.
English
Vision-Language Models (VLMs) excel at reasoning in linguistic space but struggle with perceptual understanding that requires dense visual perception, e.g., spatial reasoning and geometric awareness. This limitation stems from the fact that current VLMs have limited mechanisms to capture dense visual information across spatial dimensions. We introduce Chain-of-Visual-Thought (COVT), a framework that enables VLMs to reason not only in words but also through continuous visual tokens-compact latent representations that encode rich perceptual cues. Within a small budget of roughly 20 tokens, COVT distills knowledge from lightweight vision experts, capturing complementary properties such as 2D appearance, 3D geometry, spatial layout, and edge structure. During training, the VLM with COVT autoregressively predicts these visual tokens to reconstruct dense supervision signals (e.g., depth, segmentation, edges, and DINO features). At inference, the model reasons directly in the continuous visual token space, preserving efficiency while optionally decoding dense predictions for interpretability. Evaluated across more than ten diverse perception benchmarks, including CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA, and HRBench, integrating COVT into strong VLMs such as Qwen2.5-VL and LLaVA consistently improves performance by 3% to 16% and demonstrates that compact continuous visual thinking enables more precise, grounded, and interpretable multimodal intelligence.