Zebra-CoT: Een dataset voor interleaved visueel-taalkundig redeneren

Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning

July 22, 2025

Auteurs: Ang Li, Charles Wang, Kaiyu Yue, Zikui Cai, Ollie Liu, Deqing Fu, Peng Guo, Wang Bill Zhu, Vatsal Sharan, Robin Jia, Willie Neiswanger, Furong Huang, Tom Goldstein, Micah Goldblum

cs.AI

Samenvatting

Mensen gebruiken vaak visuele hulpmiddelen, zoals diagrammen of schetsen, bij het oplossen van complexe problemen. Het trainen van multimodale modellen om hetzelfde te doen, bekend als Visual Chain of Thought (Visual CoT), is uitdagend vanwege: (1) slechte prestaties van standaard Visual CoT, wat reinforcement learning belemmert, en (2) het gebrek aan hoogwaardige trainingsdata voor Visual CoT. Wij introduceren Zebra-CoT, een diverse grootschalige dataset met 182.384 voorbeelden, die logisch samenhangende, verweven tekst-beeld redeneersporen bevat. We richten ons op vier categorieën taken waarbij schetsen of visueel redeneren bijzonder natuurlijk is, variërend van wetenschappelijke vragen zoals geometrie, natuurkunde en algoritmen; 2D-visuele redeneertaken zoals visueel zoeken en legpuzzels; 3D-redeneertaken, waaronder 3D multi-hop inferentie, embodied en robotplanning; visuele logische problemen en strategische spellen zoals schaken. Het finetunen van het Anole-7B-model op de Zebra-CoT trainingscorpus resulteert in een verbetering van +12% in onze testsetnauwkeurigheid en levert tot +13% prestatieverbetering op bij standaard VLM-benchmarkevaluaties. Het finetunen van Bagel-7B levert een model op dat hoogwaardige, verweven visuele redeneersporen genereert, wat de effectiviteit van Zebra-CoT voor het ontwikkelen van multimodale redeneervaardigheden onderstreept. We maken onze dataset en modellen open source om de ontwikkeling en evaluatie van Visual CoT te ondersteunen.

English

Humans often use visual aids, for example diagrams or sketches, when solving complex problems. Training multimodal models to do the same, known as Visual Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf visual CoT performance, which hinders reinforcement learning, and (2) the lack of high-quality visual CoT training data. We introduce Zebra-CoT, a diverse large-scale dataset with 182,384 samples, containing logically coherent interleaved text-image reasoning traces. We focus on four categories of tasks where sketching or visual reasoning is especially natural, spanning scientific questions such as geometry, physics, and algorithms; 2D visual reasoning tasks like visual search and jigsaw puzzles; 3D reasoning tasks including 3D multi-hop inference, embodied and robot planning; visual logic problems and strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT training corpus results in an improvement of +12% in our test-set accuracy and yields up to +13% performance gain on standard VLM benchmark evaluations. Fine-tuning Bagel-7B yields a model that generates high-quality interleaved visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing multimodal reasoning abilities. We open-source our dataset and models to support development and evaluation of visual CoT.