Скрытый блокнот: Визуальные наброски для стимулирования мультимодального мышления в MLLM

Latent Sketchpad: Sketching Visual Thoughts to Elicit Multimodal Reasoning in MLLMs

October 28, 2025

Авторы: Huanyu Zhang, Wenshan Wu, Chengzu Li, Ning Shang, Yan Xia, Yangyu Huang, Yifan Zhang, Li Dong, Zhang Zhang, Liang Wang, Tieniu Tan, Furu Wei

cs.AI

Аннотация

Хотя мультимодальные большие языковые модели (МБЯМ) превосходно справляются с визуальным пониманием, они часто испытывают трудности в сложных сценариях, требующих визуального планирования и воображения. Вдохновившись тем, как люди используют наброски в качестве формы визуального мышления для разработки и коммуникации идей, мы представляем Latent Sketchpad — фреймворк, который оснащает МБЯМ внутренним визуальным скретчпадом. Внутренние визуальные представления МБЯМ традиционно ограничивались перцептивным пониманием. Мы перепрофилируем их для поддержки генеративного визуального мышления без ущерба для способности к рассуждению. Основываясь на передовых МБЯМ, наш подход интегрирует визуальную генерацию непосредственно в их нативный авторегрессионный процесс рассуждений. Это позволяет модели чередовать текстовые рассуждения с генерацией визуальных латентных переменных. Эти латентные переменные направляют внутренний мыслительный процесс и могут быть преобразованы в эскизы для интерпретируемости. Для реализации этого мы вводим два компонента: Контекстно-зависимый визуальный заголовок (Context-Aware Vision Head) авторегрессионно генерирует визуальные представления, а предобученный Декодер эскизов (Sketch Decoder) визуализирует их в интерпретируемые человеком изображения. Мы оцениваем фреймворк на нашем новом наборе данных MazePlanning. Эксперименты с различными МБЯМ показывают, что Latent Sketchpad демонстрирует сопоставимую или даже превосходящую производительность рассуждений по сравнению с их базовой архитектурой. Он также обобщается на различные передовые МБЯМ, включая Gemma3 и Qwen2.5-VL. Расширяя текстовые рассуждения модели до визуального мышления, наш фреймворк открывает новые возможности для более насыщенного человеко-компьютерного взаимодействия и более широкого спектра приложений. Дополнительные детали и ресурсы доступны на странице проекта: https://latent-sketchpad.github.io/.

English

While Multimodal Large Language Models (MLLMs) excel at visual understanding, they often struggle in complex scenarios that require visual planning and imagination. Inspired by how humans use sketching as a form of visual thinking to develop and communicate ideas, we introduce Latent Sketchpad, a framework that equips MLLMs with an internal visual scratchpad. The internal visual representations of MLLMs have traditionally been confined to perceptual understanding. We repurpose them to support generative visual thought without compromising reasoning ability. Building on frontier MLLMs, our approach integrates visual generation directly into their native autoregressive reasoning process. It allows the model to interleave textual reasoning with the generation of visual latents. These latents guide the internal thought process and can be translated into sketch images for interpretability. To realize this, we introduce two components: a Context-Aware Vision Head autoregressively produces visual representations, and a pretrained Sketch Decoder renders these into human-interpretable images. We evaluate the framework on our new dataset MazePlanning. Experiments across various MLLMs show that Latent Sketchpad delivers comparable or even superior reasoning performance to their backbone. It further generalizes across distinct frontier MLLMs, including Gemma3 and Qwen2.5-VL. By extending model's textual reasoning to visual thinking, our framework opens new opportunities for richer human-computer interaction and broader applications. More details and resources are available on our project page: https://latent-sketchpad.github.io/.