Quaderno Latente: Schizzare Pensieri Visivi per Evocare il Ragionamento Multimodale nei MLLM

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

October 28, 2025

Autori: Huanyu Zhang, Wenshan Wu, Chengzu Li, Ning Shang, Yan Xia, Yangyu Huang, Yifan Zhang, Li Dong, Zhang Zhang, Liang Wang, Tieniu Tan, Furu Wei

cs.AI

Abstract

Mentre i Modelli Linguistici Multimodali di Grande Dimensione (MLLM) eccellono nella comprensione visiva, spesso incontrano difficoltà in scenari complessi che richiedono pianificazione visiva e immaginazione. Ispirati dal modo in cui gli esseri umani utilizzano lo schizzo come forma di pensiero visivo per sviluppare e comunicare idee, introduciamo Latent Sketchpad, un framework che fornisce agli MLLM una lavagna visiva interna. Le rappresentazioni visive interne degli MLLM sono state tradizionalmente confinate alla comprensione percettiva. Noi le riproponiamo per supportare il pensiero visivo generativo senza compromettere le capacità di ragionamento. Basandoci su MLLM all'avanguardia, il nostro approccio integra la generazione visiva direttamente nel loro processo di ragionamento autoregressivo nativo. Ciò consente al modello di alternare il ragionamento testuale alla generazione di latenti visivi. Questi latenti guidano il processo di pensiero interno e possono essere tradotti in immagini di schizzi per l'interpretabilità. Per realizzare ciò, introduciamo due componenti: una Testa Visiva Consapevole del Contesto produce autoregressivamente rappresentazioni visive, e un Decodificatore di Schizzi pre-addestrato le converte in immagini interpretabili dall'uomo. Valutiamo il framework sul nostro nuovo dataset MazePlanning. Esperimenti su vari MLLM mostrano che Latent Sketchpad fornisce prestazioni di ragionamento comparabili o addirittura superiori rispetto ai loro modelli di base. Inoltre, si generalizza attraverso diversi MLLM all'avanguardia, inclusi Gemma3 e Qwen2.5-VL. Estendendo il ragionamento testuale del modello al pensiero visivo, il nostro framework apre nuove opportunità per un'interazione uomo-computer più ricca e applicazioni più ampie. Maggiori dettagli e risorse sono disponibili sulla nostra pagina progetto: https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.