Chaîne de Pensée Visuelle : Enseigner aux VLM à mieux voir et penser avec des tokens visuels continus

papers.abstract

Les modèles vision-langage (VLM) excellent dans le raisonnement en espace linguistique mais peinent à appréhender la compréhension perceptuelle nécessitant une perception visuelle dense, comme le raisonnement spatial et la conscience géométrique. Cette limitation découle du fait que les VLM actuels disposent de mécanismes limités pour capturer l'information visuelle dense à travers les dimensions spatiales. Nous présentons Chain-of-Visual-Thought (COVT), un cadre permettant aux VLM de raisonner non seulement en mots mais aussi via des tokens visuels continus – des représentations latentes compactes encodant des indices perceptuels riches. Avec un budget réduit d'environ 20 tokens, COVT distille les connaissances d'experts visuels légers, capturant des propriétés complémentaires telles que l'apparence 2D, la géométrie 3D, la disposition spatiale et la structure des contours. Durant l'entraînement, le VLM équipé de COVT prédit de manière autorégressive ces tokens visuels pour reconstruire des signaux de supervision denses (par exemple, la profondeur, la segmentation, les contours et les caractéristiques DINO). Lors de l'inférence, le modèle raisonne directement dans l'espace continu des tokens visuels, préservant l'efficacité tout en décodant optionnellement les prédictions denses pour l'interprétabilité. Évalué sur plus de dix benchmarks de perception divers, incluant CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA et HRBench, l'intégration de COVT dans des VLM performants comme Qwen2.5-VL et LLaVA améliore constamment les performances de 3% à 16% et démontre qu'une pensée visuelle continue et compacte permet une intelligence multimodale plus précise, ancrée et interprétable.

English

Vision-Language Models (VLMs) excel at reasoning in linguistic space but struggle with perceptual understanding that requires dense visual perception, e.g., spatial reasoning and geometric awareness. This limitation stems from the fact that current VLMs have limited mechanisms to capture dense visual information across spatial dimensions. We introduce Chain-of-Visual-Thought (COVT), a framework that enables VLMs to reason not only in words but also through continuous visual tokens-compact latent representations that encode rich perceptual cues. Within a small budget of roughly 20 tokens, COVT distills knowledge from lightweight vision experts, capturing complementary properties such as 2D appearance, 3D geometry, spatial layout, and edge structure. During training, the VLM with COVT autoregressively predicts these visual tokens to reconstruct dense supervision signals (e.g., depth, segmentation, edges, and DINO features). At inference, the model reasons directly in the continuous visual token space, preserving efficiency while optionally decoding dense predictions for interpretability. Evaluated across more than ten diverse perception benchmarks, including CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA, and HRBench, integrating COVT into strong VLMs such as Qwen2.5-VL and LLaVA consistently improves performance by 3% to 16% and demonstrates that compact continuous visual thinking enables more precise, grounded, and interpretable multimodal intelligence.

Chaîne de Pensée Visuelle : Enseigner aux VLM à mieux voir et penser avec des tokens visuels continus

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

papers.abstract

Support