Tableau Visuel : L'esquisse comme chaîne de pensée visuelle pour les modèles de langage multimodaux

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

June 13, 2024

Auteurs: Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna

cs.AI

Résumé

Les humains dessinent pour faciliter le raisonnement : nous traçons des lignes auxiliaires pour résoudre des problèmes de géométrie ; nous annotons et encadrons lorsque nous raisonnons sur des cartes ; nous utilisons des croquis pour amplifier nos idées et soulager notre mémoire de travail à capacité limitée. Cependant, de telles actions sont absentes des modèles de langage multimodaux (LMs) actuels. Les paradigmes actuels de chaîne de pensée et d'utilisation d'outils n'utilisent que le texte comme étapes intermédiaires de raisonnement. Dans ce travail, nous présentons Sketchpad, un cadre qui donne aux LMs multimodaux un tableau de croquis visuel et des outils pour dessiner sur ce tableau. Le LM effectue la planification et le raisonnement en fonction des artefacts visuels qu'il a dessinés. Contrairement aux travaux antérieurs, qui utilisent des modèles texte-à-image pour permettre aux LMs de dessiner, Sketchpad permet aux LMs de dessiner avec des lignes, des boîtes, des annotations, etc., ce qui est plus proche du croquis humain et facilite mieux le raisonnement. Sketchpad peut également utiliser des modèles de vision spécialisés pendant le processus de dessin (par exemple, dessiner des boîtes englobantes avec des modèles de détection d'objets, dessiner des masques avec des modèles de segmentation), pour améliorer encore la perception visuelle et le raisonnement. Nous expérimentons sur une large gamme de tâches mathématiques (y compris la géométrie, les fonctions, les graphiques et les échecs) et de tâches complexes de raisonnement visuel. Sketchpad améliore considérablement les performances sur toutes les tâches par rapport à des modèles de base solides sans croquis, avec un gain moyen de 12,7 % sur les tâches mathématiques et de 8,6 % sur les tâches visuelles. GPT-4o avec Sketchpad établit un nouvel état de l'art sur toutes les tâches, y compris V*Bench (80,3 %), le raisonnement spatial BLINK (83,9 %) et la correspondance visuelle (80,8 %). Tous les codes et données sont disponibles sur https://visualsketchpad.github.io/.

English

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.