Klear-Reasoner: 勾配保存型クリッピングポリシー最適化による推論能力の向上
Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization
August 11, 2025
著者: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou
cs.AI
要旨
本論文では、長い推論能力を備え、問題解決において慎重な熟慮を示すKlear-Reasonerモデルを紹介します。このモデルは、複数のベンチマークで卓越した性能を達成しています。現在のコミュニティには推論モデルに関する優れた研究が多数存在しますが、トレーニングの詳細が完全に開示されていないため、高性能な推論モデルの再現には多くの課題が残されています。本報告書では、データ準備や長いChain-of-Thoughtによる教師付きファインチューニング（long CoT SFT）から強化学習（RL）に至るポストトレーニングワークフロー全体を網羅し、各実験コンポーネントの詳細なアブレーションスタディを提供します。SFTデータに関して、我々の実験では、多様なデータソースを大量に使用するよりも、少数の高品質なデータソースの方が効果的であり、精度フィルタリングを行わない難しいサンプルがより良い結果を達成できることを示しています。さらに、現在のクリッピングメカニズムにおける2つの主要な問題、すなわちクリッピングが重要な探索信号を抑制し、準最適な軌跡を無視する点について調査しました。これらの課題に対処するため、クリッピングされたトークンからの勾配を穏やかに逆伝播するGradient-Preserving clipping Policy Optimization（GPPO）を提案します。GPPOは、モデルの探索能力を強化するだけでなく、負のサンプルからの学習効率も向上させます。Klear-Reasonerは、数学とプログラミングにおいて卓越した推論能力を示し、AIME 2024で90.5%、AIME 2025で83.2%、LiveCodeBench V5で66.0%、LiveCodeBench V6で58.1%のスコアを達成しました。
English
We present Klear-Reasoner, a model with long reasoning capabilities that
demonstrates careful deliberation during problem solving, achieving outstanding
performance across multiple benchmarks. Although there are already many
excellent works related to inference models in the current community, there are
still many problems with reproducing high-performance inference models due to
incomplete disclosure of training details. This report provides an in-depth
analysis of the reasoning model, covering the entire post-training workflow
from data preparation and long Chain-of-Thought supervised fine-tuning (long
CoT SFT) to reinforcement learning (RL), along with detailed ablation studies
for each experimental component. For SFT data, our experiments show that a
small number of high-quality data sources are more effective than a large
number of diverse data sources, and that difficult samples can achieve better
results without accuracy filtering. In addition, we investigate two key issues
with current clipping mechanisms in RL: Clipping suppresses critical
exploration signals and ignores suboptimal trajectories. To address these
challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO)
that gently backpropagates gradients from clipped tokens. GPPO not only
enhances the model's exploration capacity but also improves its efficiency in
learning from negative samples. Klear-Reasoner exhibits exceptional reasoning
abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\%
on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.