MM-Eureka: Explorando o Momento Eureka Visual com Aprendizado por Reforço em Grande Escala Baseado em Regras

MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning

March 10, 2025

Autores: Fanqing Meng, Lingxiao Du, Zongkai Liu, Zhixiang Zhou, Quanfeng Lu, Daocheng Fu, Botian Shi, Wenhai Wang, Junjun He, Kaipeng Zhang, Ping Luo, Yu Qiao, Qiaosheng Zhang, Wenqi Shao

cs.AI

Resumo

Apresentamos o MM-Eureka, um modelo de raciocínio multimodal que estende com sucesso o aprendizado por reforço baseado em regras em larga escala (RL) para o raciocínio multimodal. Embora o RL baseado em regras tenha demonstrado sucesso notável na melhoria das habilidades de raciocínio de LLMs em domínios textuais, sua aplicação em cenários multimodais permaneceu desafiadora. Nosso trabalho reproduz características-chave de sistemas de RL baseados em texto, como o DeepSeek-R1, no espaço multimodal, incluindo aumentos consistentes na recompensa de precisão e no comprimento das respostas, além do surgimento de comportamentos de reflexão. Demonstramos que tanto modelos ajustados por instrução quanto pré-treinados podem desenvolver capacidades robustas de raciocínio multimodal por meio de RL baseado em regras, sem a necessidade de ajuste fino supervisionado, mostrando eficiência superior no uso de dados em comparação com abordagens alternativas. Disponibilizamos nosso pipeline completo em código aberto para promover pesquisas adicionais nessa área. Liberamos todos os nossos códigos, modelos, dados, etc. em https://github.com/ModalMinds/MM-EUREKA.

English

We present MM-Eureka, a multimodal reasoning model that successfully extends large-scale rule-based reinforcement learning (RL) to multimodal reasoning. While rule-based RL has shown remarkable success in improving LLMs' reasoning abilities in text domains, its application to multimodal settings has remained challenging. Our work reproduces key characteristics of text-based RL systems like DeepSeek-R1 in the multimodal space, including steady increases in accuracy reward and response length, and the emergence of reflection behaviors. We demonstrate that both instruction-tuned and pre-trained models can develop strong multimodal reasoning capabilities through rule-based RL without supervised fine-tuning, showing superior data efficiency compared to alternative approaches. We open-source our complete pipeline to foster further research in this area. We release all our codes, models, data, etc. at https://github.com/ModalMinds/MM-EUREKA