Open Vision Reasoner: Перенос лингвистического когнитивного поведения для визуального рассуждения

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

July 7, 2025

Авторы: Yana Wei, Liang Zhao, Jianjian Sun, Kangheng Lin, Jisheng Yin, Jingcheng Hu, Yinmin Zhang, En Yu, Haoran Lv, Zejia Weng, Jia Wang, Chunrui Han, Yuang Peng, Qi Han, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

cs.AI

Аннотация

Выдающиеся способности к рассуждению крупных языковых моделей (LLMs) обусловлены когнитивными поведенческими паттернами, которые возникают в результате подкрепления с помощью проверяемых вознаграждений. В данной работе исследуется, как перенести этот принцип на мультимодальные языковые модели (MLLMs) для раскрытия продвинутого визуального мышления. Мы представляем двухэтапную парадигму, построенную на основе Qwen2.5-VL-7B: масштабное лингвистическое тонкое настраивание на начальном этапе, за которым следует мультимодальное обучение с подкреплением (RL), охватывающее почти 1000 шагов, что превосходит все предыдущие усилия в открытом доступе по масштабу. Это новаторское исследование выявляет три фундаментальных инсайта: 1) Перенос поведенческих паттернов возникает удивительно рано на этапе холодного старта благодаря лингвистическим ментальным образам. 2) Холодный старт в целом запоминает визуальные поведенческие паттерны, в то время как RL критически выделяет и масштабирует эффективные паттерны. 3) Перенос стратегически отдает предпочтение высокоэффективным поведенческим паттернам, таким как визуальное отражение. Наша итоговая модель, Open-Vision-Reasoner (OVR), демонстрирует передовые результаты на наборе тестов для оценки рассуждений, включая 95,3% на MATH500, 51,8% на MathVision и 54,6% на MathVerse. Мы публикуем нашу модель, данные и динамику обучения, чтобы стимулировать разработку более способных и поведенчески согласованных мультимодальных систем рассуждения.

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.