¡Camina antes de correr! Razonamiento conciso en LLM mediante aprendizaje por refuerzo

Walk Before You Run! Concise LLM Reasoning via Reinforcement Learning

May 27, 2025

Autores: Mingyang Song, Mao Zheng

cs.AI

Resumen

A medida que el escalado en tiempo de prueba se convierte en una frontera de investigación crucial en el desarrollo de Modelos de Lenguaje a Gran Escala (LLMs), las metodologías contemporáneas y avanzadas de post-entrenamiento se centran cada vez más en extender la longitud de generación de respuestas largas de Cadenas de Pensamiento (CoT) para mejorar las capacidades de razonamiento hacia un rendimiento similar a DeepSeek R1. Sin embargo, estudios recientes revelan un fenómeno persistente de sobrepensamiento en los modelos de razonamiento más avanzados, manifestándose como redundancia excesiva o patrones de pensamiento repetitivos en respuestas largas de CoT. Para abordar este problema, en este artículo proponemos un marco de aprendizaje por refuerzo de dos etapas, simple pero efectivo, para lograr un razonamiento conciso en LLMs, denominado ConciseR. Específicamente, la primera etapa, utilizando más pasos de entrenamiento, tiene como objetivo incentivar las capacidades de razonamiento del modelo mediante la Optimización de Política Relativa en Grupo con componentes de recorte superior y muestreo dinámico (GRPO++), y la segunda etapa, utilizando menos pasos de entrenamiento, aplica explícitamente la concisión y mejora la eficiencia mediante la Optimización de Política Relativa en Grupo Consciente de la Longitud (L-GRPO). Es importante destacar que ConciseR solo optimiza la longitud de la respuesta una vez que todas las iteraciones de una muestra son correctas, siguiendo el principio de "caminar antes de correr". Los resultados experimentales extensivos demuestran que nuestro modelo ConciseR, que genera respuestas de razonamiento CoT más concisas, supera a los modelos de razonamiento más recientes con el paradigma de RL cero en los benchmarks de AIME 2024, MATH-500, AMC 2023, Minerva y Olimpiadas.

English

As test-time scaling becomes a pivotal research frontier in Large Language Models (LLMs) development, contemporary and advanced post-training methodologies increasingly focus on extending the generation length of long Chain-of-Thought (CoT) responses to enhance reasoning capabilities toward DeepSeek R1-like performance. However, recent studies reveal a persistent overthinking phenomenon in state-of-the-art reasoning models, manifesting as excessive redundancy or repetitive thinking patterns in long CoT responses. To address this issue, in this paper, we propose a simple yet effective two-stage reinforcement learning framework for achieving concise reasoning in LLMs, named ConciseR. Specifically, the first stage, using more training steps, aims to incentivize the model's reasoning capabilities via Group Relative Policy Optimization with clip-higher and dynamic sampling components (GRPO++), and the second stage, using fewer training steps, explicitly enforces conciseness and improves efficiency via Length-aware Group Relative Policy Optimization (L-GRPO). Significantly, ConciseR only optimizes response length once all rollouts of a sample are correct, following the "walk before you run" principle. Extensive experimental results demonstrate that our ConciseR model, which generates more concise CoT reasoning responses, outperforms recent state-of-the-art reasoning models with zero RL paradigm across AIME 2024, MATH-500, AMC 2023, Minerva, and Olympiad benchmarks.