Zebra-CoT : Un ensemble de données pour le raisonnement intercalé vision-langage

papers.abstract

Les humains utilisent souvent des aides visuelles, comme des diagrammes ou des croquis, pour résoudre des problèmes complexes. Entraîner des modèles multimodaux à faire de même, ce qu'on appelle le Raisonnement en Chaîne Visuel (Visual Chain of Thought ou Visual CoT), est un défi en raison de : (1) la faible performance des modèles de Visual CoT prêts à l'emploi, ce qui entrave l'apprentissage par renforcement, et (2) le manque de données d'entraînement de haute qualité pour le Visual CoT. Nous présentons Zebra-CoT, un ensemble de données diversifié et à grande échelle comprenant 182 384 échantillons, contenant des traces de raisonnement entrelacées texte-image logiquement cohérentes. Nous nous concentrons sur quatre catégories de tâches où l'esquisse ou le raisonnement visuel est particulièrement naturel, couvrant des questions scientifiques telles que la géométrie, la physique et les algorithmes ; des tâches de raisonnement visuel 2D comme la recherche visuelle et les puzzles ; des tâches de raisonnement 3D incluant l'inférence multi-sauts en 3D, la planification incarnée et robotique ; des problèmes de logique visuelle et des jeux stratégiques comme les échecs. Le fine-tuning du modèle Anole-7B sur le corpus d'entraînement Zebra-CoT entraîne une amélioration de +12 % sur la précision de notre ensemble de test et un gain de performance allant jusqu'à +13 % sur les évaluations de référence standard des modèles de langage visuel (VLM). Le fine-tuning de Bagel-7B produit un modèle générant des chaînes de raisonnement visuel entrelacées de haute qualité, soulignant l'efficacité de Zebra-CoT pour développer des capacités de raisonnement multimodal. Nous mettons à disposition en open source notre ensemble de données et nos modèles pour soutenir le développement et l'évaluation du Visual CoT.

English

Humans often use visual aids, for example diagrams or sketches, when solving complex problems. Training multimodal models to do the same, known as Visual Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf visual CoT performance, which hinders reinforcement learning, and (2) the lack of high-quality visual CoT training data. We introduce Zebra-CoT, a diverse large-scale dataset with 182,384 samples, containing logically coherent interleaved text-image reasoning traces. We focus on four categories of tasks where sketching or visual reasoning is especially natural, spanning scientific questions such as geometry, physics, and algorithms; 2D visual reasoning tasks like visual search and jigsaw puzzles; 3D reasoning tasks including 3D multi-hop inference, embodied and robot planning; visual logic problems and strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT training corpus results in an improvement of +12% in our test-set accuracy and yields up to +13% performance gain on standard VLM benchmark evaluations. Fine-tuning Bagel-7B yields a model that generates high-quality interleaved visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing multimodal reasoning abilities. We open-source our dataset and models to support development and evaluation of visual CoT.

Zebra-CoT : Un ensemble de données pour le raisonnement intercalé vision-langage

Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning

papers.abstract

Support