UloRL: Ein Ultra-Langer-Ausgabe-Ansatz für Reinforcement Learning zur Förderung der Argumentationsfähigkeiten großer Sprachmodelle

UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities

July 26, 2025

papers.authors: Dong Du, Shulin Liu, Tao Yang, Shaohua Chen, Yang Li

cs.AI

papers.abstract

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben das Potenzial von Verstärkungslernen mit verifizierbaren Belohnungen (RLVR) zur Verbesserung der Fähigkeiten zur logischen Schlussfolgerung durch erweiterte Ausgabesequenzen aufgezeigt. Traditionelle RL-Frameworks stoßen jedoch auf Ineffizienzen bei der Verarbeitung von ultra-langen Ausgaben aufgrund von langen Sequenzverteilungen und Entropiezusammenbrüchen während des Trainings. Um diese Herausforderungen zu bewältigen, schlagen wir einen Ansatz für Ultra-Lange Ausgabe-Verstärkungslernen (UloRL) vor, um die Fähigkeiten zur logischen Schlussfolgerung von großen Sprachmodellen zu verbessern. Insbesondere teilen wir die Decodierung von ultra-langen Ausgaben in kurze Segmente auf, wodurch effizientes Training ermöglicht wird, indem Verzögerungen durch lange Sequenzen gemindert werden. Zusätzlich führen wir eine dynamische Maskierung von gut beherrschten positiven Tokens (MPTs) ein, um Entropiezusammenbrüche zu verhindern. Experimentelle Ergebnisse zeigen die Wirksamkeit unseres Ansatzes. Beim Qwen3-30B-A3B-Modell erreichte RL mit Segment-Rollout eine 2,06-fache Steigerung der Trainingsgeschwindigkeit, während RL-Training mit 128k-Token-Ausgaben die Leistung des Modells bei AIME2025 von 70,9 % auf 85,1 % und bei BeyondAIME von 50,7 % auf 61,9 % verbesserte und sogar Qwen3-235B-A22B mit bemerkenswerten Gewinnen übertraf. Diese Ergebnisse unterstreichen das Potenzial unserer Methoden, die Fähigkeiten zur logischen Schlussfolgerung von LLMs mit der Generierung von ultra-langen Sequenzen voranzutreiben. Wir werden unseren Code und unser Modell für die weitere Nutzung durch die Community veröffentlichen.

English

Recent advances in large language models (LLMs) have highlighted the potential of reinforcement learning with verifiable rewards (RLVR) to enhance reasoning capabilities through extended output sequences. However, traditional RL frameworks face inefficiencies when handling ultra-long outputs due to long-tail sequence distributions and entropy collapse during training. To address these challenges, we propose an Ultra-Long Output Reinforcement Learning (UloRL) approach for advancing large language models' reasoning abilities. Specifically, we divide ultra long output decoding into short segments, enabling efficient training by mitigating delays caused by long-tail samples. Additionally, we introduce dynamic masking of well-Mastered Positive Tokens (MPTs) to prevent entropy collapse. Experimental results demonstrate the effectiveness of our approach. On the Qwen3-30B-A3B model, RL with segment rollout achieved 2.06x increase in training speed, while RL training with 128k-token outputs improves the model's performance on AIME2025 from 70.9\% to 85.1\% and on BeyondAIME from 50.7\% to 61.9\%, even surpassing Qwen3-235B-A22B with remarkable gains. These findings underscore the potential of our methods to advance the reasoning capabilities of LLMs with ultra-long sequence generation. We will release our code and model for further use by the community.