Composition-RL: Создавайте проверяемые промпты для обучения с подкреплением больших языковых моделей
Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models
February 12, 2026
Авторы: Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang
cs.AI
Аннотация
Крупномасштабные верифицируемые промты лежат в основе успеха обучения с подкреплением с верифицируемыми вознаграждениями (RLVR), однако они содержат множество неинформативных примеров, и их дальнейшее расширение требует больших затрат. В последних исследованиях основное внимание уделяется более эффективному использованию ограниченных данных обучения за счет приоритизации сложных промтов, уровень успешности выполнения (pass rate) которых равен 0. Однако по мере прогресса обучения все более распространенными становятся и легкие промты с уровнем успешности 1, что снижает эффективный объем данных. Чтобы смягчить эту проблему, мы предлагаем Composition-RL — простой, но полезный подход для лучшего использования ограниченного числа верифицируемых промтов, нацеленный именно на промты с уровнем успешности 1. Если конкретнее, Composition-RL автоматически комбинирует несколько задач в новую верифицируемую проблему и использует эти составные промты для обучения с подкреплением. Многочисленные эксперименты на моделях размером от 4B до 30B показывают, что Composition-RL последовательно улучшает способность к рассуждению по сравнению с RL, обученным на исходном наборе данных. Производительность можно дополнительно повысить с помощью варианта Composition-RL с учебным планом (curriculum), который постепенно увеличивает глубину композиции в процессе обучения. Кроме того, Composition-RL позволяет осуществлять более эффективное междоменное RL путем комбинирования промтов из различных областей. Код, наборы данных и модели доступны по адресу https://github.com/XinXU-USTC/Composition-RL.
English
Large-scale verifiable prompts underpin the success of Reinforcement Learning with Verifiable Rewards (RLVR), but they contain many uninformative examples and are costly to expand further. Recent studies focus on better exploiting limited training data by prioritizing hard prompts whose rollout pass rate is 0. However, easy prompts with a pass rate of 1 also become increasingly prevalent as training progresses, thereby reducing the effective data size. To mitigate this, we propose Composition-RL, a simple yet useful approach for better utilizing limited verifiable prompts targeting pass-rate-1 prompts. More specifically, Composition-RL automatically composes multiple problems into a new verifiable question and uses these compositional prompts for RL training. Extensive experiments across model sizes from 4B to 30B show that Composition-RL consistently improves reasoning capability over RL trained on the original dataset. Performance can be further boosted with a curriculum variant of Composition-RL that gradually increases compositional depth over training. Additionally, Composition-RL enables more effective cross-domain RL by composing prompts drawn from different domains. Codes, datasets, and models are available at https://github.com/XinXU-USTC/Composition-RL.