LSPO: Muestreo Dinámico Consciente de la Longitud para la Optimización de Políticas en Razonamiento de Modelos de Lenguaje Grande

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning

October 1, 2025

Autores: Weizhe Chen, Sven Koenig, Bistra Dilkina

cs.AI

Resumen

Desde el lanzamiento de Deepseek-R1, el aprendizaje por refuerzo con recompensas verificables (RLVR, por sus siglas en inglés) se ha convertido en un enfoque central para entrenar modelos de lenguaje de gran escala (LLMs) en tareas de razonamiento. Trabajos recientes se han centrado principalmente en modificar funciones de pérdida para hacer que RLVR sea más eficiente y efectivo. En este artículo, motivados por estudios sobre el "sobrepensamiento" en LLMs, proponemos el Muestreo Consciente de la Longitud para la Optimización de Políticas (LSPO, por sus siglas en inglés), un novedoso algoritmo meta-RLVR que selecciona dinámicamente datos de entrenamiento en cada paso basándose en la longitud promedio de las respuestas. Evaluamos LSPO en múltiples modelos base y conjuntos de datos, demostrando que mejora consistentemente la efectividad del aprendizaje. Además, realizamos un estudio de ablación detallado para examinar formas alternativas de incorporar señales de longitud en el muestreo dinámico, ofreciendo insights adicionales y destacando direcciones prometedoras para futuras investigaciones.

English

Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.