Visueel Schetsblok: Schetsen als een Visuele Denkketen voor Multimodale Taalmodellen

Samenvatting

Mensen tekenen om het redeneren te vergemakkelijken: we tekenen hulplijnen bij het oplossen van geometrieproblemen; we markeren en omcirkelen bij het redeneren op kaarten; we gebruiken schetsen om onze ideeën te versterken en ons beperkte werkgeheugen te ontlasten. Dergelijke acties ontbreken echter in huidige multimodale taalmodellen (LMs). Huidige keten-van-gedachten- en gereedschapsgebruikparadigma's gebruiken alleen tekst als tussenstappen in het redeneren. In dit werk introduceren we Sketchpad, een raamwerk dat multimodale LMs een visueel schetsblok en gereedschappen geeft om op het schetsblok te tekenen. Het LM voert planning en redenering uit op basis van de visuele artefacten die het heeft getekend. In tegenstelling tot eerder werk, dat tekst-naar-beeldmodellen gebruikt om LMs te laten tekenen, stelt Sketchpad LMs in staat om te tekenen met lijnen, vakken, markeringen, enz., wat dichter bij menselijk schetsen ligt en het redeneren beter ondersteunt. Sketchpad kan ook gespecialiseerde visionmodellen gebruiken tijdens het schetsproces (bijvoorbeeld het tekenen van begrenzingsvakken met objectdetectiemodellen, het tekenen van maskers met segmentatiemodellen), om de visuele waarneming en redenering verder te verbeteren. We experimenteren met een breed scala aan wiskundetaken (inclusief geometrie, functies, grafieken en schaken) en complexe visuele redeneertaken. Sketchpad verbetert de prestaties op alle taken aanzienlijk ten opzichte van sterke basismodellen zonder schetsen, met een gemiddelde winst van 12,7% op wiskundetaken en 8,6% op visuele taken. GPT-4o met Sketchpad stelt een nieuwe standaard op alle taken, inclusief V*Bench (80,3%), BLINK ruimtelijk redeneren (83,9%) en visuele correspondentie (80,8%). Alle codes en gegevens zijn te vinden op https://visualsketchpad.github.io/.

English

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.

Visueel Schetsblok: Schetsen als een Visuele Denkketen voor Multimodale Taalmodellen

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

Samenvatting

Support