Klear-Reasoner: Potenziamento delle Capacità di Ragionamento tramite Ottimizzazione del Clipping con Preservazione del Gradiente

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

Autori: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

Abstract

Presentiamo Klear-Reasoner, un modello con capacità di ragionamento esteso che dimostra un'attenta deliberazione durante la risoluzione di problemi, ottenendo prestazioni eccezionali su molteplici benchmark. Sebbene esistano già numerosi lavori eccellenti relativi ai modelli di inferenza nella comunità attuale, persistono molte difficoltà nel riprodurre modelli di inferenza ad alte prestazioni a causa della divulgazione incompleta dei dettagli di addestramento. Questo report fornisce un'analisi approfondita del modello di ragionamento, coprendo l'intero flusso di lavoro post-addestramento, dalla preparazione dei dati e il fine-tuning supervisionato con lunghe catene di pensiero (long CoT SFT) all'apprendimento per rinforzo (RL), insieme a dettagliati studi di ablazione per ogni componente sperimentale. Per i dati SFT, i nostri esperimenti dimostrano che un numero ridotto di fonti dati di alta qualità è più efficace rispetto a un gran numero di fonti diverse, e che campioni difficili possono ottenere risultati migliori senza filtraggio per accuratezza. Inoltre, indaghiamo due problemi chiave relativi ai meccanismi di clipping attuali nell'RL: il clipping sopprime segnali critici di esplorazione e ignora traiettorie subottimali. Per affrontare queste sfide, proponiamo il Gradient-Preserving Clipping Policy Optimization (GPPO), che propaga delicatamente i gradienti dai token clippati. Il GPPO non solo migliora la capacità di esplorazione del modello, ma aumenta anche la sua efficienza nell'apprendimento da campioni negativi. Klear-Reasoner mostra abilità di ragionamento eccezionali in matematica e programmazione, ottenendo il 90,5% su AIME 2024, l'83,2% su AIME 2025, il 66,0% su LiveCodeBench V5 e il 58,1% su LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.