Zebra-CoT: インターリーブされた視覚言語推論のためのデータセット

Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning

July 22, 2025

著者: Ang Li, Charles Wang, Kaiyu Yue, Zikui Cai, Ollie Liu, Deqing Fu, Peng Guo, Wang Bill Zhu, Vatsal Sharan, Robin Jia, Willie Neiswanger, Furong Huang, Tom Goldstein, Micah Goldblum

cs.AI

要旨

人間は複雑な問題を解決する際、図表やスケッチなどの視覚的補助をよく用います。同様のことを行うマルチモーダルモデルを訓練すること、すなわちVisual Chain of Thought（Visual CoT）は、以下の理由から困難です：(1) 既存のVisual CoTの性能が低く、強化学習を妨げること、(2) 高品質なVisual CoT訓練データの不足。我々はZebra-CoTを導入しました。これは182,384サンプルからなる多様で大規模なデータセットで、論理的に一貫したテキストと画像の交互に現れる推論の軌跡を含んでいます。我々は特にスケッチや視覚的推論が自然に適用される4つのカテゴリのタスクに焦点を当てました。これには幾何学、物理学、アルゴリズムなどの科学的問題、視覚探索やジグソーパズルなどの2D視覚推論タスク、3D多段階推論、エンボディメントやロボット計画を含む3D推論タスク、視覚的論理問題やチェスなどの戦略ゲームが含まれます。Anole-7BモデルをZebra-CoT訓練コーパスでファインチューニングした結果、テストセットの精度が+12%向上し、標準的なVLMベンチマーク評価では最大+13%の性能向上が得られました。Bagel-7Bのファインチューニングでは、高品質な交互に現れる視覚的推論チェーンを生成するモデルが得られ、Zebra-CoTがマルチモーダル推論能力の開発に有効であることが示されました。我々はデータセットとモデルをオープンソース化し、Visual CoTの開発と評価を支援します。

English

Humans often use visual aids, for example diagrams or sketches, when solving complex problems. Training multimodal models to do the same, known as Visual Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf visual CoT performance, which hinders reinforcement learning, and (2) the lack of high-quality visual CoT training data. We introduce Zebra-CoT, a diverse large-scale dataset with 182,384 samples, containing logically coherent interleaved text-image reasoning traces. We focus on four categories of tasks where sketching or visual reasoning is especially natural, spanning scientific questions such as geometry, physics, and algorithms; 2D visual reasoning tasks like visual search and jigsaw puzzles; 3D reasoning tasks including 3D multi-hop inference, embodied and robot planning; visual logic problems and strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT training corpus results in an improvement of +12% in our test-set accuracy and yields up to +13% performance gain on standard VLM benchmark evaluations. Fine-tuning Bagel-7B yields a model that generates high-quality interleaved visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing multimodal reasoning abilities. We open-source our dataset and models to support development and evaluation of visual CoT.