Klear-Reasoner: Verbesserung der Fähigkeit zum logischen Schließen durch gradientenerhaltende Clipping-Policy-Optimierung

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

papers.authors: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

papers.abstract

Wir stellen Klear-Reasoner vor, ein Modell mit langen Fähigkeiten zur logischen Schlussfolgerung, das sorgfältige Überlegungen während der Problemlösung demonstriert und herausragende Leistungen über mehrere Benchmarks hinweg erzielt. Obwohl es in der aktuellen Community bereits viele exzellente Arbeiten im Zusammenhang mit Inferenzmodellen gibt, bestehen weiterhin viele Probleme bei der Reproduktion von Hochleistungs-Inferenzmodellen aufgrund unvollständiger Offenlegung von Trainingsdetails. Dieser Bericht bietet eine detaillierte Analyse des Schlussfolgerungsmodells und deckt den gesamten Post-Training-Workflow ab, von der Datenvorbereitung und dem langen Chain-of-Thought-supervised Fine-Tuning (langem CoT SFT) bis hin zum Reinforcement Learning (RL), zusammen mit detaillierten Ablationsstudien für jede experimentelle Komponente. Für SFT-Daten zeigen unsere Experimente, dass eine kleine Anzahl hochwertiger Datenquellen effektiver ist als eine große Anzahl diverser Datenquellen und dass schwierige Proben ohne Genauigkeitsfilterung bessere Ergebnisse erzielen können. Darüber hinaus untersuchen wir zwei Schlüsselprobleme bei den aktuellen Clipping-Mechanismen in RL: Clipping unterdrückt kritische Explorationssignale und ignoriert suboptimale Trajektorien. Um diese Herausforderungen zu bewältigen, schlagen wir Gradient-Preserving Clipping Policy Optimization (GPPO) vor, das Gradienten von beschnittenen Tokens sanft zurückpropagiert. GPPO verbessert nicht nur die Explorationsfähigkeit des Modells, sondern steigert auch dessen Effizienz beim Lernen aus negativen Beispielen. Klear-Reasoner zeigt außergewöhnliche Fähigkeiten in Mathematik und Programmierung und erzielt 90,5 % auf AIME 2024, 83,2 % auf AIME 2025, 66,0 % auf LiveCodeBench V5 und 58,1 % auf LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.