Bloco de Rascunho Visual: Esboço como uma Cadeia de Pensamento Visual para Modelos de Linguagem Multimodais

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

June 13, 2024

Autores: Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna

cs.AI

Resumo

Os seres humanos desenham para facilitar o raciocínio: traçamos linhas auxiliares ao resolver problemas de geometria; marcamos e circulamos ao raciocinar sobre mapas; usamos esboços para ampliar nossas ideias e aliviar nossa memória de trabalho de capacidade limitada. No entanto, tais ações estão ausentes nos atuais modelos de linguagem multimodal (LMs). Os paradigmas atuais de cadeia de pensamento e uso de ferramentas utilizam apenas texto como etapas intermediárias de raciocínio. Neste trabalho, apresentamos o Sketchpad, uma estrutura que fornece aos LMs multimodais uma lousa visual e ferramentas para desenhar nessa lousa. O LM realiza planejamento e raciocínio com base nos artefatos visuais que desenhou. Diferente de trabalhos anteriores, que usam modelos de texto para imagem para permitir que LMs desenhem, o Sketchpad permite que LMs desenhem com linhas, caixas, marcas, etc., o que é mais próximo do esboço humano e facilita melhor o raciocínio. O Sketchpad também pode usar modelos de visão especializados durante o processo de esboço (por exemplo, desenhar caixas delimitadoras com modelos de detecção de objetos, desenhar máscaras com modelos de segmentação), para aprimorar ainda mais a percepção visual e o raciocínio. Realizamos experimentos com uma ampla gama de tarefas matemáticas (incluindo geometria, funções, gráficos e xadrez) e tarefas complexas de raciocínio visual. O Sketchpad melhora substancialmente o desempenho em todas as tarefas em relação a modelos base robustos sem esboço, resultando em um ganho médio de 12,7% em tarefas matemáticas e 8,6% em tarefas visuais. O GPT-4o com Sketchpad estabelece um novo estado da arte em todas as tarefas, incluindo V*Bench (80,3%), raciocínio espacial BLINK (83,9%) e correspondência visual (80,8%). Todos os códigos e dados estão disponíveis em https://visualsketchpad.github.io/.

English

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.