VL-Cogito: Progressives Curriculum-Reinforcement-Learning für fortgeschrittenes multimodales Denken

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

July 30, 2025

papers.authors: Ruifeng Yuan, Chenghao Xiao, Sicong Leng, Jianyu Wang, Long Li, Weiwen Xu, Hou Pong Chan, Deli Zhao, Tingyang Xu, Zhongyu Wei, Hao Zhang, Yu Rong

cs.AI

papers.abstract

Reinforcement Learning hat seine Wirksamkeit bei der Verbesserung der Denkfähigkeiten großer Sprachmodelle unter Beweis gestellt. Jüngste Forschungsbemühungen haben dieses Paradigma zunehmend auf multimodale Denkaufgaben ausgeweitet. Aufgrund der inhärenten Komplexität und Vielfalt multimodaler Aufgaben, insbesondere in Bezug auf semantische Inhalte und Problemformulierungen, zeigen bestehende Modelle oft instabile Leistungen über verschiedene Domänen und Schwierigkeitsgrade hinweg. Um diese Einschränkungen zu überwinden, schlagen wir VL-Cogito vor, ein fortschrittliches multimodales Denkmodell, das durch ein neuartiges mehrstufiges Progressive Curriculum Reinforcement Learning (PCuRL)-Framework trainiert wird. PCuRL führt das Modell systematisch durch Aufgaben mit schrittweise steigendem Schwierigkeitsgrad und verbessert so erheblich seine Denkfähigkeiten in verschiedenen multimodalen Kontexten. Das Framework führt zwei Schlüsselinnovationen ein: (1) einen Online-Schwierigkeitsgrad-Soft-Weighting-Mechanismus, der die Trainingsschwierigkeit dynamisch über aufeinanderfolgende RL-Trainingsphasen hinweg anpasst; und (2) einen dynamischen Längenbelohnungsmechanismus, der das Modell dazu anregt, die Länge seines Denkpfads adaptiv entsprechend der Aufgabenkomplexität zu regulieren und so die Denkeffizienz mit der Korrektheit in Einklang zu bringen. Experimentelle Auswertungen zeigen, dass VL-Cogito durchweg mit bestehenden denkorientierten Modellen auf Mainstream-Multimodal-Benchmarks in den Bereichen Mathematik, Naturwissenschaften, Logik und allgemeinem Verständnis mithält oder diese übertrifft, was die Wirksamkeit unseres Ansatzes bestätigt.

English

Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.