UloRL : Une approche d'apprentissage par renforcement à sortie ultra-longue pour améliorer les capacités de raisonnement des grands modèles de langage

UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities

July 26, 2025

papers.authors: Dong Du, Shulin Liu, Tao Yang, Shaohua Chen, Yang Li

cs.AI

papers.abstract

Les récentes avancées dans les modèles de langage à grande échelle (LLMs) ont mis en lumière le potentiel de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour améliorer les capacités de raisonnement à travers des séquences de sortie étendues. Cependant, les cadres traditionnels de RL rencontrent des inefficacités lorsqu'ils traitent des sorties ultra-longues en raison des distributions de séquences à longue traîne et de l'effondrement de l'entropie pendant l'entraînement. Pour relever ces défis, nous proposons une approche d'apprentissage par renforcement pour sorties ultra-longues (UloRL) afin d'améliorer les capacités de raisonnement des modèles de langage à grande échelle. Plus précisément, nous divisons le décodage des sorties ultra-longues en segments courts, permettant un entraînement efficace en atténuant les retards causés par les échantillons à longue traîne. De plus, nous introduisons un masquage dynamique des Tokens Positifs Maîtrisés (MPTs) pour prévenir l'effondrement de l'entropie. Les résultats expérimentaux démontrent l'efficacité de notre approche. Sur le modèle Qwen3-30B-A3B, le RL avec déploiement segmenté a permis une augmentation de 2,06x de la vitesse d'entraînement, tandis que l'entraînement RL avec des sorties de 128k tokens améliore les performances du modèle sur AIME2025 de 70,9\% à 85,1\% et sur BeyondAIME de 50,7\% à 61,9\%, surpassant même Qwen3-235B-A22B avec des gains remarquables. Ces résultats soulignent le potentiel de nos méthodes pour améliorer les capacités de raisonnement des LLMs avec la génération de séquences ultra-longues. Nous publierons notre code et notre modèle pour une utilisation ultérieure par la communauté.

English

Recent advances in large language models (LLMs) have highlighted the potential of reinforcement learning with verifiable rewards (RLVR) to enhance reasoning capabilities through extended output sequences. However, traditional RL frameworks face inefficiencies when handling ultra-long outputs due to long-tail sequence distributions and entropy collapse during training. To address these challenges, we propose an Ultra-Long Output Reinforcement Learning (UloRL) approach for advancing large language models' reasoning abilities. Specifically, we divide ultra long output decoding into short segments, enabling efficient training by mitigating delays caused by long-tail samples. Additionally, we introduce dynamic masking of well-Mastered Positive Tokens (MPTs) to prevent entropy collapse. Experimental results demonstrate the effectiveness of our approach. On the Qwen3-30B-A3B model, RL with segment rollout achieved 2.06x increase in training speed, while RL training with 128k-token outputs improves the model's performance on AIME2025 from 70.9\% to 85.1\% and on BeyondAIME from 50.7\% to 61.9\%, even surpassing Qwen3-235B-A22B with remarkable gains. These findings underscore the potential of our methods to advance the reasoning capabilities of LLMs with ultra-long sequence generation. We will release our code and model for further use by the community.