Composition-RL : Composer vos prompts vérifiables pour l'apprentissage par renforcement des grands modèles de langage
Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models
February 12, 2026
papers.authors: Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang
cs.AI
papers.abstract
Les prompts vérifiables à grande échelle sont fondamentaux pour le succès du Renforcement de l'Apprentissage avec Récompenses Vérifiables (RLVR), mais ils contiennent de nombreux exemples non informatifs et leur expansion est coûteuse. Les études récentes se concentrent sur une meilleure exploitation des données d'entraînement limitées en prioritisant les prompts difficiles dont le taux de réussite du déploiement est de 0. Cependant, les prompts faciles avec un taux de réussite de 1 deviennent également de plus en plus prévalents au cours de l'entraînement, réduisant ainsi la taille effective des données. Pour atténuer ce problème, nous proposons Composition-RL, une approche simple mais utile pour mieux exploiter les prompts vérifiables limités en ciblant les prompts avec un taux de réussite de 1. Plus précisément, Composition-RL compose automatiquement plusieurs problèmes en une nouvelle question vérifiable et utilise ces prompts compositionnels pour l'entraînement par renforcement. Des expériences approfondies sur des tailles de modèles allant de 4B à 30B montrent que Composition-RL améliore constamment la capacité de raisonnement par rapport au RL entraîné sur le jeu de données original. Les performances peuvent être encore améliorées avec une variante curriculaire de Composition-RL qui augmente progressivement la profondeur compositionnelle durant l'entraînement. De plus, Composition-RL permet un apprentissage par renforcement transdomaine plus efficace en composant des prompts issus de différents domaines. Les codes, jeux de données et modèles sont disponibles à l'adresse https://github.com/XinXU-USTC/Composition-RL.
English
Large-scale verifiable prompts underpin the success of Reinforcement Learning with Verifiable Rewards (RLVR), but they contain many uninformative examples and are costly to expand further. Recent studies focus on better exploiting limited training data by prioritizing hard prompts whose rollout pass rate is 0. However, easy prompts with a pass rate of 1 also become increasingly prevalent as training progresses, thereby reducing the effective data size. To mitigate this, we propose Composition-RL, a simple yet useful approach for better utilizing limited verifiable prompts targeting pass-rate-1 prompts. More specifically, Composition-RL automatically composes multiple problems into a new verifiable question and uses these compositional prompts for RL training. Extensive experiments across model sizes from 4B to 30B show that Composition-RL consistently improves reasoning capability over RL trained on the original dataset. Performance can be further boosted with a curriculum variant of Composition-RL that gradually increases compositional depth over training. Additionally, Composition-RL enables more effective cross-domain RL by composing prompts drawn from different domains. Codes, datasets, and models are available at https://github.com/XinXU-USTC/Composition-RL.