LSPO: Längenbewusstes dynamisches Sampling für die Politikoptimierung im LLM-Reasoning

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning

October 1, 2025

papers.authors: Weizhe Chen, Sven Koenig, Bistra Dilkina

cs.AI

papers.abstract

Seit der Veröffentlichung von Deepseek-R1 ist Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) zu einem zentralen Ansatz für das Training großer Sprachmodelle (LLMs) bei Aufgaben des logischen Schließens geworden. Aktuelle Arbeiten haben sich weitgehend auf die Modifikation von Verlustfunktionen konzentriert, um RLVR effizienter und effektiver zu gestalten. In diesem Artikel schlagen wir, motiviert durch Studien zum „Overthinking“ in LLMs, Length-aware Sampling for Policy Optimization (LSPO) vor, einen neuartigen Meta-RLVR-Algorithmus, der Trainingsdaten in jedem Schritt dynamisch basierend auf der durchschnittlichen Antwortlänge auswählt. Wir evaluieren LSPO über mehrere Basismodelle und Datensätze hinweg und zeigen, dass es die Lerneffektivität konsequent verbessert. Zusätzlich führen wir eine detaillierte Ablationsstudie durch, um alternative Möglichkeiten zur Einbindung von Längensignalen in das dynamische Sampling zu untersuchen, wodurch weitere Erkenntnisse gewonnen und vielversprechende Richtungen für zukünftige Forschung aufgezeigt werden.

English

Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.