Composition-RL: Composición de Prompts Verificables para el Aprendizaje por Refuerzo de Modelos de Lenguaje Grandes

Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models

February 12, 2026

Autores: Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang

cs.AI

Resumen

Los prompts verificables a gran escala son la base del éxito del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), pero contienen muchos ejemplos no informativos y son costosos de expandir. Estudios recientes se centran en explotar mejor los datos de entrenamiento limitados priorizando prompts difíciles cuya tasa de aprobación en ejecución es 0. Sin embargo, los prompts fáciles con una tasa de aprobación de 1 también se vuelven cada vez más prevalentes a medida que avanza el entrenamiento, reduciendo así el tamaño efectivo de los datos. Para mitigar esto, proponemos Composition-RL, un enfoque simple pero útil para utilizar mejor los prompts verificables limitados dirigidos a prompts con tasa de aprobación 1. Más específicamente, Composition-RL compone automáticamente múltiples problemas en una nueva pregunta verificable y utiliza estos prompts composicionales para el entrenamiento de RL. Experimentos exhaustivos en tamaños de modelo desde 4B hasta 30B muestran que Composition-RL mejora consistentemente la capacidad de razonamiento sobre el RL entrenado en el conjunto de datos original. El rendimiento puede potenciarse aún más con una variante curricular de Composition-RL que incrementa gradualmente la profundidad composicional durante el entrenamiento. Adicionalmente, Composition-RL permite un RL cruzado de dominios más efectivo componiendo prompts extraídos de diferentes dominios. Los códigos, conjuntos de datos y modelos están disponibles en https://github.com/XinXU-USTC/Composition-RL.

English

Large-scale verifiable prompts underpin the success of Reinforcement Learning with Verifiable Rewards (RLVR), but they contain many uninformative examples and are costly to expand further. Recent studies focus on better exploiting limited training data by prioritizing hard prompts whose rollout pass rate is 0. However, easy prompts with a pass rate of 1 also become increasingly prevalent as training progresses, thereby reducing the effective data size. To mitigate this, we propose Composition-RL, a simple yet useful approach for better utilizing limited verifiable prompts targeting pass-rate-1 prompts. More specifically, Composition-RL automatically composes multiple problems into a new verifiable question and uses these compositional prompts for RL training. Extensive experiments across model sizes from 4B to 30B show that Composition-RL consistently improves reasoning capability over RL trained on the original dataset. Performance can be further boosted with a curriculum variant of Composition-RL that gradually increases compositional depth over training. Additionally, Composition-RL enables more effective cross-domain RL by composing prompts drawn from different domains. Codes, datasets, and models are available at https://github.com/XinXU-USTC/Composition-RL.