Kette visueller Gedanken: Vermittlung kontinuierlicher visueller Token zur Verbesserung des Seh- und Denkvermögens visueller Sprachmodelle

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

November 24, 2025

papers.authors: Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, Xudong Wang

cs.AI

papers.abstract

Vision-Language-Modelle (VLMs) zeichnen sich durch ihre Fähigkeiten im sprachlichen Raum aus, haben jedoch Schwierigkeiten mit perzeptivem Verständnis, das eine dichte visuelle Wahrnehmung erfordert, wie z.B. räumliches Schließen und geometrisches Bewusstsein. Diese Einschränkung rührt daher, dass aktuelle VLMs nur begrenzte Mechanismen besitzen, um dichte visuelle Informationen über räumliche Dimensionen hinweg zu erfassen. Wir stellen Chain-of-Visual-Thought (COVT) vor, einen Rahmen, der es VLMs ermöglicht, nicht nur in Worten, sondern auch durch kontinuierliche visuelle Tokens – kompakte latente Repräsentationen, die reiche perzeptive Hinweise kodieren – zu schließen. Innerhalb eines kleinen Budgets von etwa 20 Tokens destilliert COVT Wissen von leichtgewichtigen Vision-Experten und erfasst komplementäre Eigenschaften wie 2D-Erscheinungsbild, 3D-Geometrie, räumliche Anordnung und Kantenstruktur. Während des Trainings sagt das VLM mit COVT diese visuellen Tokens autoregressiv vorher, um dichte Überwachungssignale (z.B. Tiefe, Segmentierung, Kanten und DINO-Features) zu rekonstruieren. Zur Inferenzzeit schließt das Modell direkt im kontinuierlichen visuellen Token-Raum, behält dabei seine Effizienz bei und kann optional dichte Vorhersagen zur Erhöhung der Interpretierbarkeit dekodieren. Die Auswertung über mehr als zehn verschiedene Wahrnehmungs-Benchmarks, darunter CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA und HRBench, zeigt, dass die Integration von COVT in leistungsstarke VLMs wie Qwen2.5-VL und LLaVA die Leistung konsistent um 3 % bis 16 % steigert. Dies demonstriert, dass kompaktes, kontinuierliches visuelles Denken eine präzisere, fundiertere und interpretierbare multimodale Intelligenz ermöglicht.

English

Vision-Language Models (VLMs) excel at reasoning in linguistic space but struggle with perceptual understanding that requires dense visual perception, e.g., spatial reasoning and geometric awareness. This limitation stems from the fact that current VLMs have limited mechanisms to capture dense visual information across spatial dimensions. We introduce Chain-of-Visual-Thought (COVT), a framework that enables VLMs to reason not only in words but also through continuous visual tokens-compact latent representations that encode rich perceptual cues. Within a small budget of roughly 20 tokens, COVT distills knowledge from lightweight vision experts, capturing complementary properties such as 2D appearance, 3D geometry, spatial layout, and edge structure. During training, the VLM with COVT autoregressively predicts these visual tokens to reconstruct dense supervision signals (e.g., depth, segmentation, edges, and DINO features). At inference, the model reasons directly in the continuous visual token space, preserving efficiency while optionally decoding dense predictions for interpretability. Evaluated across more than ten diverse perception benchmarks, including CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA, and HRBench, integrating COVT into strong VLMs such as Qwen2.5-VL and LLaVA consistently improves performance by 3% to 16% and demonstrates that compact continuous visual thinking enables more precise, grounded, and interpretable multimodal intelligence.