Composition-RL: Componi i Tuoi Prompt Verificabili per l'Apprendimento per Rinforzo dei Modelli Linguistici di Grande Dimensione

Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models

February 12, 2026

Autori: Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang

cs.AI

Abstract

I prompt verificabili su larga scala sono alla base del successo del Reinforcement Learning con Ricompense Verificabili (RLVR), ma contengono molti esempi non informativi e sono costosi da espandere ulteriormente. Studi recenti si concentrano sullo sfruttare meglio dati di addestramento limitati dando priorità ai prompt difficili il cui tasso di superamento del rollout è 0. Tuttavia, i prompt facili con un tasso di superamento di 1 diventano anch'essi sempre più prevalenti con il progredire dell'addestramento, riducendo così la dimensione effettiva dei dati. Per mitigare questo problema, proponiamo Composition-RL, un approccio semplice ma utile per utilizzare meglio i prompt verificabili limitati, mirando specificamente ai prompt con tasso di superamento 1. Nello specifico, Composition-RL compone automaticamente più problemi in una nuova domanda verificabile e utilizza questi prompt compositi per l'addestramento RL. Esperimenti estensivi su dimensioni di modello da 4B a 30B mostrano che Composition-RL migliora costantemente la capacità di ragionamento rispetto all'RL addestrato sul dataset originale. Le prestazioni possono essere ulteriormente potenziate con una variante curriculare di Composition-RL che aumenta gradualmente la profondità compositiva durante l'addestramento. Inoltre, Composition-RL consente un RL cross-dominio più efficace componendo prompt provenienti da domini diversi. Codici, dataset e modelli sono disponibili su https://github.com/XinXU-USTC/Composition-RL.

English

Large-scale verifiable prompts underpin the success of Reinforcement Learning with Verifiable Rewards (RLVR), but they contain many uninformative examples and are costly to expand further. Recent studies focus on better exploiting limited training data by prioritizing hard prompts whose rollout pass rate is 0. However, easy prompts with a pass rate of 1 also become increasingly prevalent as training progresses, thereby reducing the effective data size. To mitigate this, we propose Composition-RL, a simple yet useful approach for better utilizing limited verifiable prompts targeting pass-rate-1 prompts. More specifically, Composition-RL automatically composes multiple problems into a new verifiable question and uses these compositional prompts for RL training. Extensive experiments across model sizes from 4B to 30B show that Composition-RL consistently improves reasoning capability over RL trained on the original dataset. Performance can be further boosted with a curriculum variant of Composition-RL that gradually increases compositional depth over training. Additionally, Composition-RL enables more effective cross-domain RL by composing prompts drawn from different domains. Codes, datasets, and models are available at https://github.com/XinXU-USTC/Composition-RL.