Zebra-CoT: Набор данных для чередующегося визуально-языкового рассуждения
Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning
July 22, 2025
Авторы: Ang Li, Charles Wang, Kaiyu Yue, Zikui Cai, Ollie Liu, Deqing Fu, Peng Guo, Wang Bill Zhu, Vatsal Sharan, Robin Jia, Willie Neiswanger, Furong Huang, Tom Goldstein, Micah Goldblum
cs.AI
Аннотация
Люди часто используют визуальные средства, такие как диаграммы или наброски, при решении сложных задач. Обучение мультимодальных моделей делать то же самое, известное как Визуальная Цепь Рассуждений (Visual CoT), является сложной задачей из-за: (1) низкой производительности готовых решений для Visual CoT, что затрудняет обучение с подкреплением, и (2) отсутствия высококачественных данных для обучения Visual CoT. Мы представляем Zebra-CoT, разнообразный крупномасштабный набор данных, содержащий 182,384 образца с логически согласованными чередующимися текстово-визуальными цепочками рассуждений. Мы сосредоточились на четырех категориях задач, где использование набросков или визуального рассуждения особенно естественно, включая научные вопросы, такие как геометрия, физика и алгоритмы; задачи 2D визуального рассуждения, такие как визуальный поиск и головоломки; задачи 3D рассуждения, включая 3D многошаговый вывод, планирование в робототехнике и виртуальных средах; визуальные логические задачи и стратегические игры, такие как шахматы. Тонкая настройка модели Anole-7B на обучающем корпусе Zebra-CoT приводит к улучшению точности на +12% на нашем тестовом наборе и дает прирост производительности до +13% на стандартных бенчмарках VLM. Тонкая настройка модели Bagel-7B позволяет получить модель, которая генерирует высококачественные чередующиеся визуальные цепочки рассуждений, подчеркивая эффективность Zebra-CoT для развития мультимодальных способностей к рассуждению. Мы открываем исходный код нашего набора данных и моделей для поддержки разработки и оценки Visual CoT.
English
Humans often use visual aids, for example diagrams or sketches, when solving
complex problems. Training multimodal models to do the same, known as Visual
Chain of Thought (Visual CoT), is challenging due to: (1) poor off-the-shelf
visual CoT performance, which hinders reinforcement learning, and (2) the lack
of high-quality visual CoT training data. We introduce Zebra-CoT, a
diverse large-scale dataset with 182,384 samples, containing logically coherent
interleaved text-image reasoning traces. We focus on four categories of tasks
where sketching or visual reasoning is especially natural, spanning scientific
questions such as geometry, physics, and algorithms; 2D visual reasoning tasks
like visual search and jigsaw puzzles; 3D reasoning tasks including 3D
multi-hop inference, embodied and robot planning; visual logic problems and
strategic games like chess. Fine-tuning the Anole-7B model on the Zebra-CoT
training corpus results in an improvement of +12% in our test-set accuracy and
yields up to +13% performance gain on standard VLM benchmark evaluations.
Fine-tuning Bagel-7B yields a model that generates high-quality interleaved
visual reasoning chains, underscoring Zebra-CoT's effectiveness for developing
multimodal reasoning abilities. We open-source our dataset and models to
support development and evaluation of visual CoT.