Keten-van-Visueel-Denken: VLMs Leren Beter te Zien en Denken met Continue Visuele Tokens
Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens
November 24, 2025
Auteurs: Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, Xudong Wang
cs.AI
Samenvatting
Vision-Language Models (VLMs) blinken uit in redeneren binnen de linguïstische ruimte, maar hebben moeite met perceptueel begrip dat een dichte visuele waarneming vereist, zoals ruimtelijk redeneren en geometrisch bewustzijn. Deze beperking komt voort uit het feit dat huidige VLMs beperkte mechanismen hebben om dichte visuele informatie over ruimtelijke dimensies te vangen. Wij introduceren Chain-of-Visual-Thought (COVT), een raamwerk dat VLMs in staat stelt niet alleen in woorden te redeneren, maar ook door middel van continue visuele tokens - compacte latente representaties die rijke perceptuele aanwijzingen coderen. Binnen een klein budget van ongeveer 20 tokens destilleert COVT kennis van lichtgewicht vision-experts, waarbij complementaire eigenschappen worden vastgelegd zoals 2D-uiterlijk, 3D-geometrie, ruimtelijke lay-out en randstructuur. Tijdens de training voorspelt de VLM met COVT autoregressief deze visuele tokens om dichte supervisiesignalen te reconstrueren (bijv. diepte, segmentatie, randen en DINO-features). Tijdens inferentie redeneert het model direct in de continue visuele tokenruimte, waarbij de efficiëntie behouden blijft terwijl optioneel dichte voorspellingen worden gedecodeerd voor interpreteerbaarheid. Evaluatie over meer dan tien diverse perceptiebenchmarks, waaronder CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA en HRBench, toont aan dat integratie van COVT in sterke VLMs zoals Qwen2.5-VL en LLaVA consistent de prestaties verbetert met 3% tot 16%. Dit demonstreert dat compact, continu visueel denken een nauwkeurigere, beter gefundeerde en interpreteerbare multimodale intelligentie mogelijk maakt.
English
Vision-Language Models (VLMs) excel at reasoning in linguistic space but struggle with perceptual understanding that requires dense visual perception, e.g., spatial reasoning and geometric awareness. This limitation stems from the fact that current VLMs have limited mechanisms to capture dense visual information across spatial dimensions. We introduce Chain-of-Visual-Thought (COVT), a framework that enables VLMs to reason not only in words but also through continuous visual tokens-compact latent representations that encode rich perceptual cues. Within a small budget of roughly 20 tokens, COVT distills knowledge from lightweight vision experts, capturing complementary properties such as 2D appearance, 3D geometry, spatial layout, and edge structure. During training, the VLM with COVT autoregressively predicts these visual tokens to reconstruct dense supervision signals (e.g., depth, segmentation, edges, and DINO features). At inference, the model reasons directly in the continuous visual token space, preserving efficiency while optionally decoding dense predictions for interpretability. Evaluated across more than ten diverse perception benchmarks, including CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA, and HRBench, integrating COVT into strong VLMs such as Qwen2.5-VL and LLaVA consistently improves performance by 3% to 16% and demonstrates that compact continuous visual thinking enables more precise, grounded, and interpretable multimodal intelligence.