Klear-Reasoner: Avanzando en la Capacidad de Razonamiento mediante Optimización de Políticas de Recorte con Preservación de Gradientes

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

Autores: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

Resumen

Presentamos Klear-Reasoner, un modelo con capacidades de razonamiento prolongado que demuestra una deliberación cuidadosa durante la resolución de problemas, logrando un rendimiento excepcional en múltiples benchmarks. Aunque ya existen muchos trabajos excelentes relacionados con modelos de inferencia en la comunidad actual, todavía hay muchos problemas para reproducir modelos de inferencia de alto rendimiento debido a la divulgación incompleta de los detalles de entrenamiento. Este informe proporciona un análisis en profundidad del modelo de razonamiento, cubriendo todo el flujo de trabajo posterior al entrenamiento, desde la preparación de datos y el ajuste fino supervisado con Cadenas de Pensamiento prolongadas (long CoT SFT) hasta el aprendizaje por refuerzo (RL), junto con estudios de ablación detallados para cada componente experimental. Para los datos de SFT, nuestros experimentos muestran que un pequeño número de fuentes de datos de alta calidad es más efectivo que un gran número de fuentes de datos diversas, y que las muestras difíciles pueden lograr mejores resultados sin filtrado de precisión. Además, investigamos dos problemas clave con los mecanismos de recorte actuales en RL: el recorte suprime señales críticas de exploración e ignora trayectorias subóptimas. Para abordar estos desafíos, proponemos Gradient-Preserving clipping Policy Optimization (GPPO), que propaga suavemente los gradientes de los tokens recortados. GPPO no solo mejora la capacidad de exploración del modelo, sino que también aumenta su eficiencia en el aprendizaje a partir de muestras negativas. Klear-Reasoner exhibe habilidades de razonamiento excepcionales en matemáticas y programación, obteniendo un 90.5\% en AIME 2024, un 83.2\% en AIME 2025, un 66.0\% en LiveCodeBench V5 y un 58.1\% en LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.