Zebra-CoT: Ein Datensatz für verschachteltes visuell-sprachliches Denken

papers.abstract

Menschen verwenden oft visuelle Hilfsmittel, wie Diagramme oder Skizzen, wenn sie komplexe Probleme lösen. Das Training multimodaler Modelle, um dasselbe zu tun, bekannt als Visuelle Gedankenkette (Visual Chain of Thought, Visual CoT), ist aufgrund folgender Herausforderungen schwierig: (1) schlechte Leistung von Standard-Visual-CoT-Modellen, was das Reinforcement Learning behindert, und (2) der Mangel an hochwertigen Trainingsdaten für Visual CoT. Wir stellen Zebra-CoT vor, einen vielfältigen, groß angelegten Datensatz mit 182.384 Proben, der logisch kohärente, verschachtelte Text-Bild-Denkprozesse enthält. Wir konzentrieren uns auf vier Kategorien von Aufgaben, bei denen Skizzieren oder visuelles Denken besonders natürlich ist, darunter wissenschaftliche Fragen wie Geometrie, Physik und Algorithmen; 2D-visuelle Denkaufgaben wie visuelle Suche und Puzzles; 3D-Denkaufgaben einschließlich 3D-Multi-Hop-Inferenz, verkörperte und Roboterplanung; visuelle Logikprobleme und strategische Spiele wie Schach. Das Feinabstimmen des Anole-7B-Modells auf den Zebra-CoT-Trainingskorpus führt zu einer Verbesserung von +12 % in der Genauigkeit unseres Testdatensatzes und erzielt bis zu +13 % Leistungssteigerung in standardisierten VLM-Benchmark-Evaluierungen. Das Feinabstimmen von Bagel-7B ergibt ein Modell, das hochwertige, verschachtelte visuelle Denkketten erzeugt, was die Wirksamkeit von Zebra-CoT für die Entwicklung multimodaler Denkfähigkeiten unterstreicht. Wir stellen unseren Datensatz und unsere Modelle als Open Source zur Verfügung, um die Entwicklung und Evaluierung von Visual CoT zu unterstützen.

English

Humans often use visual aids, for example diagrams or sketches, when solving complex problems. Training multimodal models to do the same, known as Visual Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf visual CoT performance, which hinders reinforcement learning, and (2) the lack of high-quality visual CoT training data. We introduce Zebra-CoT, a diverse large-scale dataset with 182,384 samples, containing logically coherent interleaved text-image reasoning traces. We focus on four categories of tasks where sketching or visual reasoning is especially natural, spanning scientific questions such as geometry, physics, and algorithms; 2D visual reasoning tasks like visual search and jigsaw puzzles; 3D reasoning tasks including 3D multi-hop inference, embodied and robot planning; visual logic problems and strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT training corpus results in an improvement of +12% in our test-set accuracy and yields up to +13% performance gain on standard VLM benchmark evaluations. Fine-tuning Bagel-7B yields a model that generates high-quality interleaved visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing multimodal reasoning abilities. We open-source our dataset and models to support development and evaluation of visual CoT.

Zebra-CoT: Ein Datensatz für verschachteltes visuell-sprachliches Denken

Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning

papers.abstract

Support