Open Vision Reasoner : Transfert des comportements cognitifs linguistiques pour le raisonnement visuel

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

July 7, 2025

papers.authors: Yana Wei, Liang Zhao, Jianjian Sun, Kangheng Lin, Jisheng Yin, Jingcheng Hu, Yinmin Zhang, En Yu, Haoran Lv, Zejia Weng, Jia Wang, Chunrui Han, Yuang Peng, Qi Han, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

cs.AI

papers.abstract

La remarquable capacité de raisonnement des grands modèles de langage (LLMs) découle de comportements cognitifs qui émergent grâce à un renforcement par des récompenses vérifiables. Ce travail explore comment transférer ce principe aux LLMs multimodaux (MLLMs) pour débloquer un raisonnement visuel avancé. Nous introduisons un paradigme en deux étapes basé sur Qwen2.5-VL-7B : un énorme fine-tuning linguistique à froid, suivi d'un apprentissage par renforcement (RL) multimodal couvrant près de 1 000 étapes, surpassant en échelle tous les efforts open-source précédents. Ce travail pionnier révèle trois insights fondamentaux : 1) Le transfert de comportement émerge étonnamment tôt lors du démarrage à froid grâce à l'imagerie mentale linguistique. 2) Le démarrage à froid mémorise largement les comportements visuels, tandis que le RL discerne et amplifie de manière critique les modèles efficaces. 3) Le transfert favorise stratégiquement les comportements à haute utilité, comme la réflexion visuelle. Notre modèle résultant, Open-Vision-Reasoner (OVR), atteint des performances de pointe sur une série de benchmarks de raisonnement, incluant 95,3 % sur MATH500, 51,8 % sur MathVision et 54,6 % sur MathVerse. Nous publions notre modèle, les données et les dynamiques d'entraînement pour catalyser le développement de raisonneurs multimodaux plus performants et alignés sur les comportements.

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.