Composition-RL: Componha Seus Prompts Verificáveis para Aprendizagem por Reforço de Modelos de Linguagem de Grande Porte

Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models

February 12, 2026

Autores: Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang

cs.AI

Resumo

Os prompts verificáveis em larga escala sustentam o sucesso do Aprendizado por Reforço com Recompensas Verificáveis (RLVR), mas contêm muitos exemplos pouco informativos e são custosos para expandir. Estudos recentes concentram-se em explorar melhor os dados de treinamento limitados, priorizando prompts difíceis cuja taxa de aprovação (rollout pass rate) é 0. No entanto, prompts fáceis com taxa de aprovação de 1 também se tornam cada vez mais prevalentes com o progresso do treinamento, reduzindo assim o tamanho efetivo dos dados. Para mitigar isso, propomos o Composition-RL, uma abordagem simples mas útil para melhor utilizar prompts verificáveis limitados, direcionando-se especificamente aos prompts com taxa de aprovação 1. Mais especificamente, o Composition-RL compõe automaticamente múltiplos problemas em uma nova questão verificável e utiliza esses prompts composicionais para o treinamento por RL. Experimentos extensos em modelos com tamanhos variando de 4B a 30B mostram que o Composition-RL melhora consistentemente a capacidade de raciocínio em relação ao RL treinado no conjunto de dados original. O desempenho pode ser ainda mais impulsionado com uma variante curricular do Composition-RL que aumenta gradualmente a profundidade composicional durante o treinamento. Adicionalmente, o Composition-RL permite um RL mais eficaz entre domínios (cross-domain) ao compor prompts extraídos de diferentes domínios. Códigos, conjuntos de dados e modelos estão disponíveis em https://github.com/XinXU-USTC/Composition-RL.

English

Large-scale verifiable prompts underpin the success of Reinforcement Learning with Verifiable Rewards (RLVR), but they contain many uninformative examples and are costly to expand further. Recent studies focus on better exploiting limited training data by prioritizing hard prompts whose rollout pass rate is 0. However, easy prompts with a pass rate of 1 also become increasingly prevalent as training progresses, thereby reducing the effective data size. To mitigate this, we propose Composition-RL, a simple yet useful approach for better utilizing limited verifiable prompts targeting pass-rate-1 prompts. More specifically, Composition-RL automatically composes multiple problems into a new verifiable question and uses these compositional prompts for RL training. Extensive experiments across model sizes from 4B to 30B show that Composition-RL consistently improves reasoning capability over RL trained on the original dataset. Performance can be further boosted with a curriculum variant of Composition-RL that gradually increases compositional depth over training. Additionally, Composition-RL enables more effective cross-domain RL by composing prompts drawn from different domains. Codes, datasets, and models are available at https://github.com/XinXU-USTC/Composition-RL.