Marchez avant de courir ! Raisonnement concis des LLM via l'apprentissage par renforcement

Walk Before You Run! Concise LLM Reasoning via Reinforcement Learning

May 27, 2025

Auteurs: Mingyang Song, Mao Zheng

cs.AI

Résumé

Alors que la mise à l'échelle au moment du test devient une frontière de recherche cruciale dans le développement des modèles de langage à grande échelle (LLMs), les méthodologies contemporaines et avancées de post-formation se concentrent de plus en plus sur l'extension de la longueur de génération des réponses longues de type Chaîne de Pensée (CoT) afin d'améliorer les capacités de raisonnement pour atteindre des performances similaires à DeepSeek R1. Cependant, des études récentes révèlent un phénomène persistant de surréflexion dans les modèles de raisonnement de pointe, se manifestant par une redondance excessive ou des schémas de pensée répétitifs dans les réponses CoT longues. Pour résoudre ce problème, nous proposons dans cet article un cadre d'apprentissage par renforcement en deux étapes, simple mais efficace, pour parvenir à un raisonnement concis dans les LLMs, nommé ConciseR. Plus précisément, la première étape, utilisant davantage d'étapes d'entraînement, vise à stimuler les capacités de raisonnement du modèle via l'Optimisation de Politique Relative par Groupe avec des composants de clip-higher et d'échantillonnage dynamique (GRPO++), et la deuxième étape, utilisant moins d'étapes d'entraînement, impose explicitement la concision et améliore l'efficacité via l'Optimisation de Politique Relative par Groupe Sensible à la Longueur (L-GRPO). De manière significative, ConciseR n'optimise la longueur de la réponse qu'une fois que tous les déploiements d'un échantillon sont corrects, suivant le principe "marcher avant de courir". Les résultats expérimentaux approfondis démontrent que notre modèle ConciseR, qui génère des réponses de raisonnement CoT plus concises, surpasse les modèles de raisonnement de pointe récents sans paradigme d'apprentissage par renforcement sur les benchmarks AIME 2024, MATH-500, AMC 2023, Minerva et Olympiad.

English

As test-time scaling becomes a pivotal research frontier in Large Language Models (LLMs) development, contemporary and advanced post-training methodologies increasingly focus on extending the generation length of long Chain-of-Thought (CoT) responses to enhance reasoning capabilities toward DeepSeek R1-like performance. However, recent studies reveal a persistent overthinking phenomenon in state-of-the-art reasoning models, manifesting as excessive redundancy or repetitive thinking patterns in long CoT responses. To address this issue, in this paper, we propose a simple yet effective two-stage reinforcement learning framework for achieving concise reasoning in LLMs, named ConciseR. Specifically, the first stage, using more training steps, aims to incentivize the model's reasoning capabilities via Group Relative Policy Optimization with clip-higher and dynamic sampling components (GRPO++), and the second stage, using fewer training steps, explicitly enforces conciseness and improves efficiency via Length-aware Group Relative Policy Optimization (L-GRPO). Significantly, ConciseR only optimizes response length once all rollouts of a sample are correct, following the "walk before you run" principle. Extensive experimental results demonstrate that our ConciseR model, which generates more concise CoT reasoning responses, outperforms recent state-of-the-art reasoning models with zero RL paradigm across AIME 2024, MATH-500, AMC 2023, Minerva, and Olympiad benchmarks.