Klear-Reasoner: Avançando a Capacidade de Raciocínio via Otimização de Política de Recorte com Preservação de Gradiente

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

Autores: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

Resumo

Apresentamos o Klear-Reasoner, um modelo com capacidades de raciocínio prolongado que demonstra uma deliberação cuidadosa durante a resolução de problemas, alcançando desempenho excepcional em múltiplos benchmarks. Embora já existam muitos trabalhos excelentes relacionados a modelos de inferência na comunidade atual, ainda há diversos problemas na reprodução de modelos de inferência de alto desempenho devido à divulgação incompleta dos detalhes de treinamento. Este relatório fornece uma análise aprofundada do modelo de raciocínio, cobrindo todo o fluxo de trabalho pós-treinamento, desde a preparação de dados e o ajuste fino supervisionado com Cadeia de Pensamento prolongada (long CoT SFT) até o aprendizado por reforço (RL), juntamente com estudos de ablação detalhados para cada componente experimental. Para os dados de SFT, nossos experimentos mostram que um pequeno número de fontes de dados de alta qualidade é mais eficaz do que um grande número de fontes diversas, e que amostras difíceis podem alcançar melhores resultados sem filtragem de precisão. Além disso, investigamos dois problemas-chave com os mecanismos de corte atuais no RL: o corte suprime sinais críticos de exploração e ignora trajetórias subótimas. Para enfrentar esses desafios, propomos o Gradient-Preserving Clipping Policy Optimization (GPPO), que retropropaga suavemente os gradientes dos tokens cortados. O GPPO não apenas aumenta a capacidade de exploração do modelo, mas também melhora sua eficiência no aprendizado a partir de amostras negativas. O Klear-Reasoner exibe habilidades de raciocínio excepcionais em matemática e programação, obtendo 90,5% no AIME 2024, 83,2% no AIME 2025, 66,0% no LiveCodeBench V5 e 58,1% no LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.