Open Vision Reasoner: Overdracht van Linguïstisch Cognitief Gedrag voor Visueel Redeneren

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

July 7, 2025

Auteurs: Yana Wei, Liang Zhao, Jianjian Sun, Kangheng Lin, Jisheng Yin, Jingcheng Hu, Yinmin Zhang, En Yu, Haoran Lv, Zejia Weng, Jia Wang, Chunrui Han, Yuang Peng, Qi Han, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

cs.AI

Samenvatting

De opmerkelijke redeneercapaciteit van grote taalmodellen (LLM's) komt voort uit cognitieve gedragingen die ontstaan door versterking met verifieerbare beloningen. Dit onderzoek gaat na hoe dit principe kan worden overgedragen naar Multimodale LLM's (MLLM's) om geavanceerd visueel redeneren mogelijk te maken. We introduceren een tweefasenparadigma gebouwd op Qwen2.5-VL-7B: een massale linguïstische cold-start fine-tuning, gevolgd door multimodale reinforcement learning (RL) over bijna 1.000 stappen, wat alle eerdere open-source inspanningen in schaal overtreft. Dit baanbrekende werk onthult drie fundamentele inzichten: 1) Gedragsoverdracht ontstaat verrassend vroeg in de cold-start door linguïstische mentale beeldvorming. 2) Cold-start memoriseert breed visuele gedragingen, terwijl RL kritisch effectieve patronen onderscheidt en opschaalt. 3) Overdracht geeft strategisch de voorkeur aan gedragingen met een hoge bruikbaarheid, zoals visuele reflectie. Ons resulterende model, Open-Vision-Reasoner (OVR), behaalt state-of-the-art prestaties op een reeks redeneerbenchmarks, waaronder 95,3% op MATH500, 51,8% op MathVision en 54,6% op MathVerse. We geven ons model, de data en de trainingsdynamiek vrij om de ontwikkeling van krachtigere, gedragsafgestemde multimodale redeneerders te stimuleren.

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.