Open Vision Reasoner: Transferindo Comportamento Cognitivo Linguístico para Raciocínio Visual

Open Vision Reasoner: Transferring Linguistic Cognitive Behavior for Visual Reasoning

July 7, 2025

Autores: Yana Wei, Liang Zhao, Jianjian Sun, Kangheng Lin, Jisheng Yin, Jingcheng Hu, Yinmin Zhang, En Yu, Haoran Lv, Zejia Weng, Jia Wang, Chunrui Han, Yuang Peng, Qi Han, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

cs.AI

Resumo

A notável capacidade de raciocínio dos grandes modelos de linguagem (LLMs) surge de comportamentos cognitivos que emergem através de reforço com recompensas verificáveis. Este trabalho investiga como transferir esse princípio para Modelos Multimodais de Linguagem (MLLMs) para desbloquear o raciocínio visual avançado. Introduzimos um paradigma de duas etapas construído sobre o Qwen2.5-VL-7B: uma extensa etapa de ajuste fino de partida a frio linguística, seguida por aprendizado por reforço multimodal (RL) abrangendo quase 1.000 etapas, superando todos os esforços anteriores de código aberto em escala. Este trabalho pioneiro revela três insights fundamentais: 1) A transferência de comportamento emerge surpreendentemente cedo na partida a frio devido à imagética mental linguística. 2) A partida a frio memoriza amplamente comportamentos visuais, enquanto o RL discern e amplia criticamente padrões eficazes. 3) A transferência favorece estrategicamente comportamentos de alta utilidade, como a reflexão visual. Nosso modelo resultante, Open-Vision-Reasoner (OVR), alcança desempenho de ponta em uma série de benchmarks de raciocínio, incluindo 95,3% no MATH500, 51,8% no MathVision e 54,6% no MathVerse. Disponibilizamos nosso modelo, dados e dinâmicas de treinamento para catalisar o desenvolvimento de raciocinadores multimodais mais capazes e alinhados comportamentalmente.

English

The remarkable reasoning capability of large language models (LLMs) stems from cognitive behaviors that emerge through reinforcement with verifiable rewards. This work investigates how to transfer this principle to Multimodal LLMs (MLLMs) to unlock advanced visual reasoning. We introduce a two-stage paradigm built on Qwen2.5-VL-7B: a massive linguistic cold-start fine-tuning, followed by multimodal reinforcement learning (RL) spanning nearly 1,000 steps, surpassing all previous open-source efforts in scale. This pioneering work reveals three fundamental insights: 1) Behavior transfer emerges surprisingly early in cold start due to linguistic mental imagery. 2) Cold start broadly memorizes visual behaviors, while RL critically discerns and scales up effective patterns. 3) Transfer strategically favors high-utility behaviors such as visual reflection. Our resulting model, Open-Vision-Reasoner (OVR), achieves state-of-the-art performance on a suite of reasoning benchmarks, including 95.3% on MATH500, 51.8% on MathVision and 54.6% on MathVerse. We release our model, data, and training dynamics to catalyze the development of more capable, behavior-aligned multimodal reasoners.