Latent Sketchpad: Skizzieren visueller Gedanken zur Aktivierung multimodaler Denkprozesse in MLLMs

papers.abstract

Während Multimodale Large Language Models (MLLMs) bei der visuellen Wahrnehmung hervorragende Leistungen erbringen, haben sie oft Schwierigkeiten mit komplexen Szenarien, die visuelle Planung und Vorstellungskraft erfordern. Inspiriert davon, wie Menschen Skizzen als eine Form des visuellen Denkens nutzen, um Ideen zu entwickeln und zu kommunizieren, stellen wir Latent Sketchpad vor – ein Framework, das MLLMs mit einem internen visuellen Notizblock ausstattet. Die internen visuellen Repräsentationen von MLLMs waren traditionell auf perzeptuelles Verständnis beschränkt. Wir nutzen sie um, um generatives visuelles Denken zu unterstützen, ohne die Reasoning-Fähigkeiten zu beeinträchtigen. Aufbauend auf modernsten MLLMs integriert unser Ansatz die visuelle Generierung direkt in ihren nativen autoregressiven Reasoning-Prozess. Dies ermöglicht es dem Modell, textuelles Reasoning mit der Generierung visueller Latents zu verschachteln. Diese Latents leiten den internen Denkprozess und können zur besseren Interpretierbarkeit in Skizzenbilder übersetzt werden. Um dies zu realisieren, führen wir zwei Komponenten ein: einen kontextbewussten Vision Head, der visuelle Repräsentationen autoregressiv erzeugt, und einen vortrainierten Sketch Decoder, der diese in menscheninterpretierbare Bilder rendert. Wir evaluieren das Framework auf unserem neuen Datensatz MazePlanning. Experimente mit verschiedenen MLLMs zeigen, dass Latent Sketchpad eine vergleichbare oder sogar überlegene Reasoning-Leistung gegenüber ihren Backbone-Modellen erbringt. Es verallgemeinert zudem über verschiedene moderne MLLMs, einschließlich Gemma3 und Qwen2.5-VL. Indem unser Framework das textuelle Reasoning des Modells auf visuelles Denken erweitert, eröffnet es neue Möglichkeiten für eine reichhaltigere Mensch-Computer-Interaktion und breitere Anwendungen. Weitere Details und Ressourcen sind auf unserer Projektseite verfügbar: https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.

Latent Sketchpad: Skizzieren visueller Gedanken zur Aktivierung multimodaler Denkprozesse in MLLMs

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

papers.abstract

Support