R-4B: Стимулирование универсальной автономной мыслительной способности в MLLM с помощью бимодального отжига и обучения с подкреплением

R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning

August 28, 2025

Авторы: Jie Jiang, Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLM), оснащённые способностью к пошаговому мышлению, продемонстрировали впечатляющие результаты в решении сложных задач, требующих рассуждений. Однако этот процесс мышления избыточен для простых задач, которые могут быть решены без сложных рассуждений. Для устранения этой неэффективности мы предлагаем R-4B — автономную MLLM, которая может адаптивно решать, когда включать процесс мышления, в зависимости от сложности задачи. Основная идея R-4B заключается в наделении модели как способностью к мышлению, так и возможностью обходиться без него, используя би-модовый отжиг, а также в применении оптимизации би-модовой политики (BPO) для повышения точности модели в определении необходимости активации процесса мышления. В частности, сначала модель обучается на тщательно отобранном наборе данных, охватывающем различные темы и содержащем примеры как с включённым, так и с выключенным процессом мышления. Затем она проходит второй этап обучения в рамках улучшенной структуры GRPO, где модель политики вынуждена генерировать ответы для каждого входного запроса в обоих режимах. Экспериментальные результаты показывают, что R-4B достигает наилучших результатов на 25 сложных тестовых наборах. Она превосходит Qwen2.5-VL-7B в большинстве задач и демонстрирует производительность, сопоставимую с более крупными моделями, такими как Kimi-VL-A3B-Thinking-2506 (16B), на тестах, требующих интенсивных рассуждений, при меньших вычислительных затратах.

English

Multimodal Large Language Models (MLLMs) equipped with step-by-step thinking capabilities have demonstrated remarkable performance on complex reasoning problems. However, this thinking process is redundant for simple problems solvable without complex reasoning. To address this inefficiency, we propose R-4B, an auto-thinking MLLM, which can adaptively decide when to think based on problem complexity. The central idea of R-4B is to empower the model with both thinking and non-thinking capabilities using bi-mode annealing, and apply Bi-mode Policy Optimization~(BPO) to improve the model's accuracy in determining whether to activate the thinking process. Specifically, we first train the model on a carefully curated dataset spanning various topics, which contains samples from both thinking and non-thinking modes. Then it undergoes a second phase of training under an improved GRPO framework, where the policy model is forced to generate responses from both modes for each input query. Experimental results show that R-4B achieves state-of-the-art performance across 25 challenging benchmarks. It outperforms Qwen2.5-VL-7B in most tasks and achieves performance comparable to larger models such as Kimi-VL-A3B-Thinking-2506 (16B) on reasoning-intensive benchmarks with lower computational cost.