Klear-Reasoner: Улучшение способности к рассуждению с помощью оптимизации политики отсечения с сохранением градиента

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

August 11, 2025

Авторы: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Wenping Hu, Guorui Zhou

cs.AI

Аннотация

Мы представляем Klear-Reasoner — модель с расширенными возможностями логического рассуждения, которая демонстрирует тщательное обдумывание в процессе решения задач, достигая выдающихся результатов на множестве тестовых наборов. Хотя в сообществе уже существует множество превосходных работ, связанных с моделями логического вывода, воспроизведение высокопроизводительных моделей по-прежнему сопряжено с трудностями из-за неполного раскрытия деталей обучения. В данном отчете представлен глубокий анализ модели рассуждений, охватывающий весь процесс пост-обучения: от подготовки данных и тонкой настройки с использованием длинных цепочек рассуждений (long Chain-of-Thought supervised fine-tuning, long CoT SFT) до обучения с подкреплением (RL), а также детальные исследования влияния каждого компонента эксперимента. Наши эксперименты показывают, что для данных SFT небольшое количество высококачественных источников данных более эффективно, чем большое количество разнообразных источников, а сложные примеры могут давать лучшие результаты без фильтрации по точности. Кроме того, мы исследуем две ключевые проблемы современных механизмов ограничения (clipping) в RL: подавление критических сигналов исследования и игнорирование субоптимальных траекторий. Для решения этих задач мы предлагаем метод Gradient-Preserving Clipping Policy Optimization (GPPO), который мягко распространяет градиенты от ограниченных токенов. GPPO не только усиливает способность модели к исследованию, но и повышает ее эффективность в обучении на негативных примерах. Klear-Reasoner демонстрирует исключительные способности в математике и программировании, достигая 90,5% на AIME 2024, 83,2% на AIME 2025, 66,0% на LiveCodeBench V5 и 58,1% на LiveCodeBench V6.

English

We present Klear-Reasoner, a model with long reasoning capabilities that demonstrates careful deliberation during problem solving, achieving outstanding performance across multiple benchmarks. Although there are already many excellent works related to inference models in the current community, there are still many problems with reproducing high-performance inference models due to incomplete disclosure of training details. This report provides an in-depth analysis of the reasoning model, covering the entire post-training workflow from data preparation and long Chain-of-Thought supervised fine-tuning (long CoT SFT) to reinforcement learning (RL), along with detailed ablation studies for each experimental component. For SFT data, our experiments show that a small number of high-quality data sources are more effective than a large number of diverse data sources, and that difficult samples can achieve better results without accuracy filtering. In addition, we investigate two key issues with current clipping mechanisms in RL: Clipping suppresses critical exploration signals and ignores suboptimal trajectories. To address these challenges, we propose Gradient-Preserving clipping Policy Optimization (GPPO) that gently backpropagates gradients from clipped tokens. GPPO not only enhances the model's exploration capacity but also improves its efficiency in learning from negative samples. Klear-Reasoner exhibits exceptional reasoning abilities in mathematics and programming, scoring 90.5\% on AIME 2024, 83.2\% on AIME 2025, 66.0\% on LiveCodeBench V5 and 58.1\% on LiveCodeBench V6.