Esboço Latente: Desenhando Pensamentos Visuais para Evocar Raciocínio Multimodal em MLLMs

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

October 28, 2025

Autores: Huanyu Zhang, Wenshan Wu, Chengzu Li, Ning Shang, Yan Xia, Yangyu Huang, Yifan Zhang, Li Dong, Zhang Zhang, Liang Wang, Tieniu Tan, Furu Wei

cs.AI

Resumo

Embora os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) se destaquem na compreensão visual, eles frequentemente têm dificuldades em cenários complexos que exigem planejamento visual e imaginação. Inspirados pela forma como os humanos usam o esboço como uma forma de pensamento visual para desenvolver e comunicar ideias, apresentamos o Latent Sketchpad, uma estrutura que equipa os MLLMs com um bloco de rascunho visual interno. As representações visuais internas dos MLLMs foram tradicionalmente confinadas à compreensão perceptual. Nós as redirecionamos para suportar o pensamento visual generativo sem comprometer a capacidade de raciocínio. Construindo sobre MLLMs de fronteira, nossa abordagem integra a geração visual diretamente em seu processo de raciocínio autoregressivo nativo. Isso permite que o modelo intercale o raciocínio textual com a geração de latentes visuais. Esses latentes orientam o processo de pensamento interno e podem ser traduzidos em imagens de esboço para interpretabilidade. Para concretizar isso, introduzimos dois componentes: um Cabeçalho Visual Consciente do Contexto, que produz representações visuais de forma autoregressiva, e um Decodificador de Esboços pré-treinado, que as converte em imagens interpretáveis por humanos. Avaliamos a estrutura em nosso novo conjunto de dados MazePlanning. Experimentos com vários MLLMs mostram que o Latent Sketchpad oferece um desempenho de raciocínio comparável ou mesmo superior ao de seus modelos base. Ele ainda generaliza-se através de distintos MLLMs de fronteira, incluindo Gemma3 e Qwen2.5-VL. Ao estender o raciocínio textual do modelo para o pensamento visual, nossa estrutura abre novas oportunidades para uma interação humano-computador mais rica e aplicações mais amplas. Mais detalhes e recursos estão disponíveis em nossa página do projeto: https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.