Zebra-CoT: Um Conjunto de Dados para Raciocínio Intercalado de Visão e Linguagem

Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning

July 22, 2025

Autores: Ang Li, Charles Wang, Kaiyu Yue, Zikui Cai, Ollie Liu, Deqing Fu, Peng Guo, Wang Bill Zhu, Vatsal Sharan, Robin Jia, Willie Neiswanger, Furong Huang, Tom Goldstein, Micah Goldblum

cs.AI

Resumo

Os seres humanos frequentemente utilizam recursos visuais, como diagramas ou esboços, ao resolver problemas complexos. Treinar modelos multimodais para fazer o mesmo, conhecido como Cadeia de Pensamento Visual (Visual CoT), é desafiador devido a: (1) o fraco desempenho de soluções prontas para uso de Visual CoT, o que dificulta o aprendizado por reforço, e (2) a falta de dados de treinamento de alta qualidade para Visual CoT. Apresentamos o Zebra-CoT, um conjunto de dados diversificado e em larga escala com 182.384 amostras, contendo traços de raciocínio intercalados de texto e imagem logicamente coerentes. Focamos em quatro categorias de tarefas onde esboços ou raciocínio visual são especialmente naturais, abrangendo questões científicas como geometria, física e algoritmos; tarefas de raciocínio visual 2D como busca visual e quebra-cabeças; tarefas de raciocínio 3D incluindo inferência multi-hop em 3D, planejamento embarcado e robótico; problemas de lógica visual e jogos estratégicos como xadrez. O ajuste fino do modelo Anole-7B no corpus de treinamento Zebra-CoT resulta em uma melhoria de +12% na precisão do nosso conjunto de testes e proporciona um ganho de desempenho de até +13% em avaliações padrão de benchmarks de Modelos de Linguagem Visual (VLM). O ajuste fino do Bagel-7B produz um modelo que gera cadeias de raciocínio visual intercaladas de alta qualidade, destacando a eficácia do Zebra-CoT para o desenvolvimento de habilidades de raciocínio multimodal. Disponibilizamos nosso conjunto de dados e modelos em código aberto para apoiar o desenvolvimento e avaliação de Visual CoT.

English

Humans often use visual aids, for example diagrams or sketches, when solving complex problems. Training multimodal models to do the same, known as Visual Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf visual CoT performance, which hinders reinforcement learning, and (2) the lack of high-quality visual CoT training data. We introduce Zebra-CoT, a diverse large-scale dataset with 182,384 samples, containing logically coherent interleaved text-image reasoning traces. We focus on four categories of tasks where sketching or visual reasoning is especially natural, spanning scientific questions such as geometry, physics, and algorithms; 2D visual reasoning tasks like visual search and jigsaw puzzles; 3D reasoning tasks including 3D multi-hop inference, embodied and robot planning; visual logic problems and strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT training corpus results in an improvement of +12% in our test-set accuracy and yields up to +13% performance gain on standard VLM benchmark evaluations. Fine-tuning Bagel-7B yields a model that generates high-quality interleaved visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing multimodal reasoning abilities. We open-source our dataset and models to support development and evaluation of visual CoT.