Cuaderno de Bocetos Latente: Dibujando Pensamientos Visuales para Provocar el Razonamiento Multimodal en MLLMs

Resumen

Si bien los Modelos de Lenguaje Grandes Multimodales (MLLMs, por sus siglas en inglés) sobresalen en comprensión visual, a menudo tienen dificultades en escenarios complejos que requieren planificación visual e imaginación. Inspirados por cómo los humanos utilizan el bosquejo como una forma de pensamiento visual para desarrollar y comunicar ideas, presentamos Latent Sketchpad, un marco que dota a los MLLMs de una pizarra visual interna. Tradicionalmente, las representaciones visuales internas de los MLLMs se han limitado a la comprensión perceptual. Nosotros las reutilizamos para apoyar el pensamiento visual generativo sin comprometer la capacidad de razonamiento. Basándonos en MLLMs de vanguardia, nuestro enfoque integra la generación visual directamente en su proceso de razonamiento autorregresivo nativo. Esto permite al modelo intercalar el razonamiento textual con la generación de latentes visuales. Estos latentes guían el proceso de pensamiento interno y pueden traducirse en imágenes de bocetos para lograr interpretabilidad. Para lograr esto, introducimos dos componentes: una Cabeza Visual Consciente del Contexto que produce representaciones visuales de manera autorregresiva, y un Decodificador de Bocetos preentrenado que las convierte en imágenes interpretables para humanos. Evaluamos el marco en nuestro nuevo conjunto de datos MazePlanning. Los experimentos con varios MLLMs muestran que Latent Sketchpad ofrece un rendimiento de razonamiento comparable o incluso superior al de su modelo base. Además, se generaliza a través de distintos MLLMs de vanguardia, incluyendo Gemma3 y Qwen2.5-VL. Al extender el razonamiento textual del modelo al pensamiento visual, nuestro marco abre nuevas oportunidades para una interacción hombre-computadora más enriquecida y aplicaciones más amplias. Más detalles y recursos están disponibles en nuestra página del proyecto: https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.

Cuaderno de Bocetos Latente: Dibujando Pensamientos Visuales para Provocar el Razonamiento Multimodal en MLLMs

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

Resumen

Support