VL-Cogito: Прогрессивное обучение с подкреплением для продвинутого мультимодального мышления

VL-Cogito: Progressive Curriculum Reinforcement Learning for Advanced Multimodal Reasoning

July 30, 2025

Авторы: Ruifeng Yuan, Chenghao Xiao, Sicong Leng, Jianyu Wang, Long Li, Weiwen Xu, Hou Pong Chan, Deli Zhao, Tingyang Xu, Zhongyu Wei, Hao Zhang, Yu Rong

cs.AI

Аннотация

Обучение с подкреплением доказало свою эффективность в улучшении способностей крупных языковых моделей к рассуждению. Последние исследования постепенно расширяют эту парадигму на задачи мультимодального рассуждения. Ввиду присущей сложности и разнообразия мультимодальных задач, особенно в семантическом содержании и формулировках проблем, существующие модели часто демонстрируют нестабильную производительность в различных областях и уровнях сложности. Для устранения этих ограничений мы предлагаем VL-Cogito, продвинутую модель мультимодального рассуждения, обученную с использованием новой многоэтапной структуры Progressive Curriculum Reinforcement Learning (PCuRL). PCuRL систематически направляет модель через задачи постепенно возрастающей сложности, существенно улучшая её способности к рассуждению в разнообразных мультимодальных контекстах. Структура вводит два ключевых новшества: (1) механизм мягкого взвешивания сложности в реальном времени, динамически регулирующий сложность обучения на последовательных этапах обучения с подкреплением; и (2) механизм динамического вознаграждения за длину, который побуждает модель адаптивно регулировать длину своего пути рассуждения в зависимости от сложности задачи, тем самым балансируя эффективность рассуждения с его правильностью. Экспериментальные оценки показывают, что VL-Cogito стабильно соответствует или превосходит существующие модели, ориентированные на рассуждение, на основных мультимодальных тестах, охватывающих математику, науку, логику и общее понимание, что подтверждает эффективность нашего подхода.

English

Reinforcement learning has proven its effectiveness in enhancing the reasoning capabilities of large language models. Recent research efforts have progressively extended this paradigm to multimodal reasoning tasks. Due to the inherent complexity and diversity of multimodal tasks, especially in semantic content and problem formulations, existing models often exhibit unstable performance across various domains and difficulty levels. To address these limitations, we propose VL-Cogito, an advanced multimodal reasoning model trained via a novel multi-stage Progressive Curriculum Reinforcement Learning (PCuRL) framework. PCuRL systematically guides the model through tasks of gradually increasing difficulty, substantially improving its reasoning abilities across diverse multimodal contexts. The framework introduces two key innovations: (1) an online difficulty soft weighting mechanism, dynamically adjusting training difficulty across successive RL training stages; and (2) a dynamic length reward mechanism, which encourages the model to adaptively regulate its reasoning path length according to task complexity, thus balancing reasoning efficiency with correctness. Experimental evaluations demonstrate that VL-Cogito consistently matches or surpasses existing reasoning-oriented models across mainstream multimodal benchmarks spanning mathematics, science, logic, and general understanding, validating the effectiveness of our approach.