Open Vision Reasoner: Transferencia del Comportamiento Cognitivo Lingüístico para el Razonamiento Visual

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

July 7, 2025

Autores: Yana Wei, Liang Zhao, Jianjian Sun, Kangheng Lin, Jisheng Yin, Jingcheng Hu, Yinmin Zhang, En Yu, Haoran Lv, Zejia Weng, Jia Wang, Chunrui Han, Yuang Peng, Qi Han, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

cs.AI

Resumen

La notable capacidad de razonamiento de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) surge de comportamientos cognitivos que emergen mediante el refuerzo con recompensas verificables. Este trabajo investiga cómo transferir este principio a los Modelos de Lenguaje Multimodales (MLLMs) para desbloquear un razonamiento visual avanzado. Introducimos un paradigma de dos etapas basado en Qwen2.5-VL-7B: un ajuste fino masivo de arranque en frío lingüístico, seguido de un aprendizaje por refuerzo multimodal (RL) que abarca casi 1,000 pasos, superando todos los esfuerzos anteriores de código abierto en escala. Este trabajo pionero revela tres insights fundamentales: 1) La transferencia de comportamiento emerge sorprendentemente temprano en el arranque en frío debido a la imaginería mental lingüística. 2) El arranque en frío memoriza ampliamente comportamientos visuales, mientras que el RL distingue críticamente y escala patrones efectivos. 3) La transferencia favorece estratégicamente comportamientos de alta utilidad, como la reflexión visual. Nuestro modelo resultante, Open-Vision-Reasoner (OVR), logra un rendimiento de vanguardia en un conjunto de benchmarks de razonamiento, incluyendo un 95.3% en MATH500, un 51.8% en MathVision y un 54.6% en MathVerse. Publicamos nuestro modelo, datos y dinámicas de entrenamiento para catalizar el desarrollo de razonadores multimodales más capaces y alineados en comportamiento.

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.