VL-Cogito: Aprendizaje por Refuerzo con Currículo Progresivo para el Razonamiento Multimodal Avanzado

Resumen

El aprendizaje por refuerzo ha demostrado su eficacia para mejorar las capacidades de razonamiento de los modelos de lenguaje de gran escala. Los esfuerzos de investigación recientes han extendido progresivamente este paradigma a tareas de razonamiento multimodal. Debido a la complejidad y diversidad inherentes de las tareas multimodales, especialmente en el contenido semántico y las formulaciones de problemas, los modelos existentes suelen mostrar un rendimiento inestable en diversos dominios y niveles de dificultad. Para abordar estas limitaciones, proponemos VL-Cogito, un modelo avanzado de razonamiento multimodal entrenado mediante un novedoso marco de Aprendizaje por Refuerzo con Currículo Progresivo (PCuRL, por sus siglas en inglés). PCuRL guía sistemáticamente al modelo a través de tareas de dificultad gradualmente creciente, mejorando sustancialmente sus habilidades de razonamiento en diversos contextos multimodales. El marco introduce dos innovaciones clave: (1) un mecanismo de ponderación suave de dificultad en línea, que ajusta dinámicamente la dificultad del entrenamiento a lo largo de las etapas sucesivas de entrenamiento por refuerzo; y (2) un mecanismo de recompensa de longitud dinámica, que fomenta que el modelo regule adaptativamente la longitud de su trayectoria de razonamiento según la complejidad de la tarea, equilibrando así la eficiencia del razonamiento con la corrección. Las evaluaciones experimentales demuestran que VL-Cogito iguala o supera consistentemente a los modelos orientados al razonamiento existentes en los principales puntos de referencia multimodales que abarcan matemáticas, ciencias, lógica y comprensión general, validando la efectividad de nuestro enfoque.

English

Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.

VL-Cogito: Aprendizaje por Refuerzo con Currículo Progresivo para el Razonamiento Multimodal Avanzado

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

Resumen

Support