Visual Sketchpad: Lo schizzo come catena di pensiero visivo per modelli linguistici multimodali

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

June 13, 2024

Autori: Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna

cs.AI

Abstract

Gli esseri umani disegnano per facilitare il ragionamento: tracciamo linee ausiliarie quando risolviamo problemi di geometria; segniamo e cerchiamo elementi quando ragioniamo su mappe; utilizziamo schizzi per amplificare le nostre idee e alleviare la nostra memoria di lavoro a capacità limitata. Tuttavia, tali azioni sono assenti negli attuali modelli linguistici multimodali (LM). I paradigmi attuali di catena del pensiero e uso di strumenti utilizzano solo il testo come passaggi intermedi di ragionamento. In questo lavoro, introduciamo Sketchpad, un framework che fornisce ai LM multimodali una lavagna visiva e strumenti per disegnare su di essa. Il LM pianifica e ragiona in base agli artefatti visivi che ha disegnato. A differenza dei lavori precedenti, che utilizzano modelli testo-immagine per consentire ai LM di disegnare, Sketchpad permette ai LM di disegnare con linee, riquadri, segni, ecc., avvicinandosi maggiormente allo schizzo umano e facilitando meglio il ragionamento. Sketchpad può anche utilizzare modelli di visione specializzati durante il processo di disegno (ad esempio, disegnare riquadri di delimitazione con modelli di rilevamento di oggetti, disegnare maschere con modelli di segmentazione), per migliorare ulteriormente la percezione visiva e il ragionamento. Sperimentiamo su un'ampia gamma di compiti matematici (inclusi geometria, funzioni, grafici e scacchi) e compiti complessi di ragionamento visivo. Sketchpad migliora sostanzialmente le prestazioni su tutti i compiti rispetto a modelli di base forti senza disegno, ottenendo un guadagno medio del 12,7% sui compiti matematici e dell'8,6% sui compiti visivi. GPT-4o con Sketchpad stabilisce un nuovo stato dell'arte su tutti i compiti, inclusi V*Bench (80,3%), ragionamento spaziale BLINK (83,9%) e corrispondenza visiva (80,8%). Tutti i codici e i dati sono disponibili su https://visualsketchpad.github.io/.

English

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.