LSPO: Lengtebewuste dynamische steekproefname voor beleidsoptimalisatie in LLM-redenering

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning

October 1, 2025

Auteurs: Weizhe Chen, Sven Koenig, Bistra Dilkina

cs.AI

Samenvatting

Sinds de release van Deepseek-R1 is reinforcement learning met verifieerbare beloningen (RLVR) een centrale benadering geworden voor het trainen van grote taalmodelen (LLMs) op redeneertaken. Recent onderzoek heeft zich vooral gericht op het aanpassen van verliesfuncties om RLVR efficiënter en effectiever te maken. In dit artikel, geïnspireerd door studies naar overdenken in LLMs, stellen we Length-aware Sampling for Policy Optimization (LSPO) voor, een nieuw meta-RLVR-algoritme dat dynamisch trainingsgegevens selecteert bij elke stap op basis van de gemiddelde responslengte. We evalueren LSPO over meerdere basismodellen en datasets, waarbij we aantonen dat het consistent de leerprestaties verbetert. Daarnaast voeren we een gedetailleerde ablatiestudie uit om alternatieve manieren te onderzoeken om lengtesignalen in dynamische sampling te integreren, wat verdere inzichten biedt en veelbelovende richtingen voor toekomstig onderzoek benadrukt.

English

Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.