Klear-Reasoner: Verbetering van Redeneervermogen via Gradient-Behoudend Clipping Policy Optimalisatie

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

Auteurs: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

Samenvatting

We presenteren Klear-Reasoner, een model met uitgebreide redeneervaardigheden dat zorgvuldige overweging toont tijdens het oplossen van problemen en uitstekende prestaties behaalt op meerdere benchmarks. Hoewel er in de huidige gemeenschap al veel uitstekende werken zijn gerelateerd aan inferentiemodellen, zijn er nog steeds veel problemen bij het reproduceren van hoogwaardige inferentiemodellen vanwege onvolledige openbaarmaking van trainingsdetails. Dit rapport biedt een diepgaande analyse van het redeneermodel, waarbij het hele post-trainingswerkproces wordt behandeld, van gegevensvoorbereiding en lange Chain-of-Thought supervised fine-tuning (lange CoT SFT) tot reinforcement learning (RL), samen met gedetailleerde ablatiestudies voor elk experimenteel onderdeel. Voor SFT-gegevens tonen onze experimenten aan dat een klein aantal hoogwaardige gegevensbronnen effectiever is dan een groot aantal diverse gegevensbronnen, en dat moeilijke voorbeelden betere resultaten kunnen bereiken zonder nauwkeurigheidsfiltering. Daarnaast onderzoeken we twee belangrijke problemen met huidige clippingmechanismen in RL: Clipping onderdrukt kritieke verkenningssignalen en negeert suboptimale trajecten. Om deze uitdagingen aan te pakken, stellen we Gradient-Preserving Clipping Policy Optimization (GPPO) voor, dat zachtjes gradients terugpropageert van afgekapte tokens. GPPO verbetert niet alleen het verkenningsvermogen van het model, maar ook de efficiëntie bij het leren van negatieve voorbeelden. Klear-Reasoner vertoont uitzonderlijke redeneervaardigheden in wiskunde en programmeren, met scores van 90,5% op AIME 2024, 83,2% op AIME 2025, 66,0% op LiveCodeBench V5 en 58,1% op LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.