Carnet Latent : Esquisser des Pensées Visuelles pour Susciter un Raisonnement Multimodal dans les MLLM

papers.abstract

Bien que les modèles de langage multimodaux (MLLM) excellent dans la compréhension visuelle, ils éprouvent souvent des difficultés dans les scénarios complexes nécessitant une planification visuelle et de l'imagination. Inspirés par la manière dont les humains utilisent le croquis comme une forme de pensée visuelle pour développer et communiquer des idées, nous présentons Latent Sketchpad, un cadre qui équipe les MLLM d'un bloc-notes visuel interne. Les représentations visuelles internes des MLLM ont traditionnellement été confinées à la compréhension perceptuelle. Nous les réorientons pour soutenir une pensée visuelle générative sans compromettre la capacité de raisonnement. En nous appuyant sur les MLLM de pointe, notre approche intègre directement la génération visuelle dans leur processus de raisonnement autogressif natif. Cela permet au modèle d'alterner un raisonnement textuel avec la génération de latents visuels. Ces latents guident le processus de pensée interne et peuvent être traduits en images de type croquis pour une interprétabilité. Pour concrétiser cela, nous introduisons deux composants : une Tête Visuelle Sensible au Contexte qui produit de manière autogressive des représentations visuelles, et un Décodeur de Croquis pré-entraîné qui les convertit en images interprétables par l'homme. Nous évaluons le cadre sur notre nouveau jeu de données MazePlanning. Les expériences menées sur divers MLLM montrent que Latent Sketchpad offre des performances de raisonnement comparables, voire supérieures, à celles de leur architecture de base. Il se généralise en outre à travers différents MLLM de pointe, incluant Gemma3 et Qwen2.5-VL. En étendant le raisonnement textuel du modèle à la pensée visuelle, notre cadre ouvre de nouvelles opportunités pour une interaction homme-machine plus riche et des applications plus vastes. Plus de détails et de ressources sont disponibles sur notre page de projet : https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.

Carnet Latent : Esquisser des Pensées Visuelles pour Susciter un Raisonnement Multimodal dans les MLLM

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

papers.abstract

Support