Cadena de Pensamiento Visual: Enseñando a los Modelos de Lenguaje Visual a Ver y Pensar Mejor con Tokens Visuales Continuos
Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens
November 24, 2025
Autores: Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, Xudong Wang
cs.AI
Resumen
Los Modelos de Lenguaje-Visión (VLMs) sobresalen en el razonamiento dentro del espacio lingüístico, pero presentan dificultades con la comprensión perceptiva que requiere una percepción visual densa, por ejemplo, el razonamiento espacial y la conciencia geométrica. Esta limitación surge del hecho de que los VLMs actuales tienen mecanismos limitados para capturar información visual densa a través de las dimensiones espaciales. Introducimos Cadena-de-Pensamiento-Visual (COVT), un marco que permite a los VLMs razonar no solo en palabras sino también a través de tokens visuales continuos: representaciones latentes compactas que codifican ricas señales perceptivas. Dentro de un presupuesto reducido de aproximadamente 20 tokens, COVT destila conocimiento de expertos de visión ligeros, capturando propiedades complementarias como la apariencia 2D, la geometría 3D, la disposición espacial y la estructura de bordes. Durante el entrenamiento, el VLM con COVT predice de forma autoregresiva estos tokens visuales para reconstruir señales de supervisión densa (por ejemplo, profundidad, segmentación, bordes y características DINO). En la inferencia, el modelo razona directamente en el espacio continuo de tokens visuales, preservando la eficiencia mientras opcionalmente decodifica predicciones densas para lograr interpretabilidad. Evaluado en más de diez benchmarks de percepción diversos, incluyendo CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA y HRBench, la integración de COVT en VLMs sólidos como Qwen2.5-VL y LLaVA mejora consistentemente el rendimiento entre un 3% y un 16%, y demuestra que el pensamiento visual continuo y compacto permite una inteligencia multimodal más precisa, fundamentada e interpretable.
English
Vision-Language Models (VLMs) excel at reasoning in linguistic space but struggle with perceptual understanding that requires dense visual perception, e.g., spatial reasoning and geometric awareness. This limitation stems from the fact that current VLMs have limited mechanisms to capture dense visual information across spatial dimensions. We introduce Chain-of-Visual-Thought (COVT), a framework that enables VLMs to reason not only in words but also through continuous visual tokens-compact latent representations that encode rich perceptual cues. Within a small budget of roughly 20 tokens, COVT distills knowledge from lightweight vision experts, capturing complementary properties such as 2D appearance, 3D geometry, spatial layout, and edge structure. During training, the VLM with COVT autoregressively predicts these visual tokens to reconstruct dense supervision signals (e.g., depth, segmentation, edges, and DINO features). At inference, the model reasons directly in the continuous visual token space, preserving efficiency while optionally decoding dense predictions for interpretability. Evaluated across more than ten diverse perception benchmarks, including CV-Bench, MMVP, RealWorldQA, MMStar, WorldMedQA, and HRBench, integrating COVT into strong VLMs such as Qwen2.5-VL and LLaVA consistently improves performance by 3% to 16% and demonstrates that compact continuous visual thinking enables more precise, grounded, and interpretable multimodal intelligence.