VL-Cogito: Apprendimento per Rinforzo con Curriculum Progressivo per il Ragionamento Multimodale Avanzato

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

July 30, 2025

Autori: Ruifeng Yuan, Chenghao Xiao, Sicong Leng, Jianyu Wang, Long Li, Weiwen Xu, Hou Pong Chan, Deli Zhao, Tingyang Xu, Zhongyu Wei, Hao Zhang, Yu Rong

cs.AI

Abstract

L'apprendimento per rinforzo ha dimostrato la sua efficacia nel potenziare le capacità di ragionamento dei modelli linguistici di grandi dimensioni. Recenti sforzi di ricerca hanno progressivamente esteso questo paradigma a compiti di ragionamento multimodale. A causa della complessità intrinseca e della diversità dei compiti multimodali, specialmente nel contenuto semantico e nelle formulazioni dei problemi, i modelli esistenti spesso mostrano prestazioni instabili in vari domini e livelli di difficoltà. Per affrontare queste limitazioni, proponiamo VL-Cogito, un modello avanzato di ragionamento multimodale addestrato tramite un nuovo framework di apprendimento per rinforzo a curriculum progressivo multi-stadio (PCuRL). PCuRL guida sistematicamente il modello attraverso compiti di difficoltà gradualmente crescente, migliorando sostanzialmente le sue capacità di ragionamento in contesti multimodali diversi. Il framework introduce due innovazioni chiave: (1) un meccanismo di ponderazione soft della difficoltà online, che regola dinamicamente la difficoltà di addestramento attraverso le successive fasi di training RL; e (2) un meccanismo di ricompensa dinamica della lunghezza, che incoraggia il modello a regolare adattivamente la lunghezza del suo percorso di ragionamento in base alla complessità del compito, bilanciando così l'efficienza del ragionamento con la correttezza. Le valutazioni sperimentali dimostrano che VL-Cogito eguaglia o supera costantemente i modelli orientati al ragionamento esistenti su benchmark multimodali principali che spaziano dalla matematica, alla scienza, alla logica e alla comprensione generale, validando l'efficacia del nostro approccio.

English

Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.