Визуальный набросок: эскизирование как визуальная цепочка мыслей для мультимодельных языковых моделей.

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

June 13, 2024

Авторы: Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna

cs.AI

Аннотация

Люди рисуют для облегчения рассуждений: мы проводим вспомогательные линии при решении геометрических задач; отмечаем и обводим при рассуждениях на картах; мы используем эскизы, чтобы усилить наши идеи и разгрузить нашу ограниченную рабочую память. Однако такие действия отсутствуют в текущих мультимодальных языковых моделях (ЯМ). Существующие цепочки мыслей и парадигмы использования инструментов используют только текст как промежуточные шаги рассуждений. В данной работе мы представляем Sketchpad, фреймворк, который предоставляет мультимодальным ЯМ визуальный скетчпад и инструменты для рисования на скетчпаде. ЯМ проводит планирование и рассуждения в соответствии с визуальными артефактами, которые он нарисовал. В отличие от предыдущих работ, которые используют модели текста в изображение для того, чтобы позволить ЯМ рисовать, Sketchpad позволяет ЯМ рисовать линиями, прямоугольниками, отметками и т. д., что ближе к человеческому зарисовыванию и лучше облегчает рассуждения. Sketchpad также может использовать специализированные модели зрения во время процесса зарисовывания (например, рисовать ограничивающие рамки с моделями обнаружения объектов, рисовать маски сегментации), чтобы дополнительно улучшить визуальное восприятие и рассуждения. Мы экспериментируем с широким спектром математических задач (включая геометрию, функции, графики и шахматы) и сложных визуальных задач рассуждений. Sketchpad значительно улучшает производительность на всех задачах по сравнению с сильными базовыми моделями без зарисовывания, обеспечивая средний прирост в 12,7% на математических задачах и 8,6% на визуальных задачах. GPT-4o с Sketchpad устанавливает новый уровень качества на всех задачах, включая V*Bench (80,3%), BLINK пространственное рассуждение (83,9%) и визуальное соответствие (80,8%). Весь код и данные доступны на https://visualsketchpad.github.io/.

English

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.