R-4B: Incentivando Capacidade de Pensamento Automático de Propósito Geral em MLLMs por meio de Recozimento Bi-Modal e Aprendizado por Reforço

R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning

August 28, 2025

Autores: Jie Jiang, Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng

cs.AI

Resumo

Modelos de Linguagem Multimodais de Grande Escala (MLLMs) equipados com capacidades de pensamento passo a passo demonstraram desempenho notável em problemas complexos de raciocínio. No entanto, esse processo de pensamento é redundante para problemas simples que podem ser resolvidos sem raciocínio complexo. Para abordar essa ineficiência, propomos o R-4B, um MLLM de auto-pensamento, que pode decidir de forma adaptativa quando pensar com base na complexidade do problema. A ideia central do R-4B é capacitar o modelo com ambas as capacidades de pensamento e não pensamento usando anelamento bi-modal, e aplicar a Otimização de Política Bi-modal (BPO) para melhorar a precisão do modelo em determinar se deve ativar o processo de pensamento. Especificamente, primeiro treinamos o modelo em um conjunto de dados cuidadosamente curado que abrange vários tópicos, contendo amostras de ambos os modos de pensamento e não pensamento. Em seguida, ele passa por uma segunda fase de treinamento sob uma estrutura GRPO aprimorada, onde o modelo de política é forçado a gerar respostas de ambos os modos para cada consulta de entrada. Os resultados experimentais mostram que o R-4B alcança desempenho de ponta em 25 benchmarks desafiadores. Ele supera o Qwen2.5-VL-7B na maioria das tarefas e alcança desempenho comparável a modelos maiores, como o Kimi-VL-A3B-Thinking-2506 (16B), em benchmarks intensivos de raciocínio com menor custo computacional.

English

Multimodal Large Language Models (MLLMs) equipped with step-by-step thinking capabilities have demonstrated remarkable performance on complex reasoning problems. However, this thinking process is redundant for simple problems solvable without complex reasoning. To address this inefficiency, we propose R-4B, an auto-thinking MLLM, which can adaptively decide when to think based on problem complexity. The central idea of R-4B is to empower the model with both thinking and non-thinking capabilities using bi-mode annealing, and apply Bi-mode Policy Optimization~(BPO) to improve the model's accuracy in determining whether to activate the thinking process. Specifically, we first train the model on a carefully curated dataset spanning various topics, which contains samples from both thinking and non-thinking modes. Then it undergoes a second phase of training under an improved GRPO framework, where the policy model is forced to generate responses from both modes for each input query. Experimental results show that R-4B achieves state-of-the-art performance across 25 challenging benchmarks. It outperforms Qwen2.5-VL-7B in most tasks and achieves performance comparable to larger models such as Kimi-VL-A3B-Thinking-2506 (16B) on reasoning-intensive benchmarks with lower computational cost.