VL-Cogito: Aprendizado por Reforço com Currículo Progressivo para Raciocínio Multimodal Avançado

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

July 30, 2025

Autores: Ruifeng Yuan, Chenghao Xiao, Sicong Leng, Jianyu Wang, Long Li, Weiwen Xu, Hou Pong Chan, Deli Zhao, Tingyang Xu, Zhongyu Wei, Hao Zhang, Yu Rong

cs.AI

Resumo

O aprendizado por reforço tem demonstrado sua eficácia em aprimorar as capacidades de raciocínio de grandes modelos de linguagem. Esforços recentes de pesquisa têm progressivamente estendido esse paradigma para tarefas de raciocínio multimodal. Devido à complexidade e diversidade inerentes das tarefas multimodais, especialmente em termos de conteúdo semântico e formulações de problemas, os modelos existentes frequentemente apresentam desempenho instável em diversos domínios e níveis de dificuldade. Para abordar essas limitações, propomos o VL-Cogito, um modelo avançado de raciocínio multimodal treinado por meio de uma nova estrutura de Aprendizado por Reforço com Currículo Progressivo (PCuRL). O PCuRL guia sistematicamente o modelo através de tarefas de dificuldade gradualmente crescente, melhorando substancialmente suas habilidades de raciocínio em diversos contextos multimodais. A estrutura introduz duas inovações principais: (1) um mecanismo de ponderação suave de dificuldade online, que ajusta dinamicamente a dificuldade do treinamento ao longo de estágios sucessivos de RL; e (2) um mecanismo de recompensa de comprimento dinâmico, que incentiva o modelo a regular adaptativamente o comprimento de seu caminho de raciocínio de acordo com a complexidade da tarefa, equilibrando assim eficiência e correção no raciocínio. Avaliações experimentais demonstram que o VL-Cogito consistentemente iguala ou supera modelos orientados a raciocínio existentes em benchmarks multimodais principais que abrangem matemática, ciência, lógica e compreensão geral, validando a eficácia de nossa abordagem.

English

Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.