LSPO : Échantillonnage dynamique tenant compte de la longueur pour l'optimisation de la politique dans le raisonnement des LLM
LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning
October 1, 2025
papers.authors: Weizhe Chen, Sven Koenig, Bistra Dilkina
cs.AI
papers.abstract
Depuis la sortie de Deepseek-R1, l'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu une approche centrale pour entraîner les grands modèles de langage (LLMs) sur des tâches de raisonnement. Les travaux récents se sont principalement concentrés sur la modification des fonctions de perte pour rendre le RLVR plus efficace et efficient. Dans cet article, motivés par des études sur la surréflexion dans les LLMs, nous proposons l'Échantillonnage Sensible à la Longueur pour l'Optimisation des Politiques (LSPO), un nouvel algorithme méta-RLVR qui sélectionne dynamiquement les données d'entraînement à chaque étape en fonction de la longueur moyenne des réponses. Nous évaluons LSPO sur plusieurs modèles de base et ensembles de données, démontrant qu'il améliore systématiquement l'efficacité de l'apprentissage. De plus, nous menons une étude d'ablation détaillée pour examiner des alternatives d'intégration des signaux de longueur dans l'échantillonnage dynamique, offrant ainsi des perspectives approfondies et mettant en lumière des directions prometteuses pour les recherches futures.
English
Since the release of Deepseek-R1, reinforcement learning with verifiable
rewards (RLVR) has become a central approach for training large language models
(LLMs) on reasoning tasks. Recent work has largely focused on modifying loss
functions to make RLVR more efficient and effective. In this paper, motivated
by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy
Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects
training data at each step based on the average response length. We evaluate
LSPO across multiple base models and datasets, demonstrating that it
consistently improves learning effectiveness. In addition, we conduct a
detailed ablation study to examine alternative ways of incorporating length
signals into dynamic sampling, offering further insights and highlighting
promising directions for future research.