ChatPaper.aiChatPaper

VL-Cogito: Progressief Curriculum Reinforcement Learning voor Geavanceerde Multimodale Redenering

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

July 30, 2025
Auteurs: Ruifeng Yuan, Chenghao Xiao, Sicong Leng, Jianyu Wang, Long Li, Weiwen Xu, Hou Pong Chan, Deli Zhao, Tingyang Xu, Zhongyu Wei, Hao Zhang, Yu Rong
cs.AI

Samenvatting

Reinforcement learning heeft zijn effectiviteit bewezen in het verbeteren van de redeneervaardigheden van grote taalmodelen. Recente onderzoeksinspanningen hebben dit paradigma geleidelijk uitgebreid naar multimodale redeneertaken. Vanwege de inherente complexiteit en diversiteit van multimodale taken, met name in semantische inhoud en probleemformuleringen, vertonen bestaande modellen vaak instabiele prestaties over verschillende domeinen en moeilijkheidsgraden. Om deze beperkingen aan te pakken, stellen we VL-Cogito voor, een geavanceerd multimodaal redeneermodel getraind via een nieuw multi-staps Progressive Curriculum Reinforcement Learning (PCuRL) raamwerk. PCuRL begeleidt het model systematisch door taken van geleidelijk toenemende moeilijkheid, waardoor de redeneervaardigheden aanzienlijk worden verbeterd in diverse multimodale contexten. Het raamwerk introduceert twee belangrijke innovaties: (1) een online mechanisme voor zachte gewichtstoekenning van moeilijkheid, dat de trainingsmoeilijkheid dynamisch aanpast over opeenvolgende RL-trainingsfasen; en (2) een dynamisch lengtebeloningsmechanisme, dat het model aanmoedigt om zijn redeneerpadlengte adaptief te reguleren volgens de taakcomplexiteit, waardoor redeneerefficiëntie en correctheid in balans worden gebracht. Experimentele evaluaties tonen aan dat VL-Cogito consistent presteert op of beter is dan bestaande redeneergerichte modellen over mainstream multimodale benchmarks die wiskunde, wetenschap, logica en algemeen begrip omvatten, wat de effectiviteit van onze aanpak valideert.
English
Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.
PDF394July 31, 2025