LSPO: Campionamento Dinamico Basato sulla Lunghezza per l'Ottimizzazione delle Politiche nel Ragionamento con LLM

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning

October 1, 2025

Autori: Weizhe Chen, Sven Koenig, Bistra Dilkina

cs.AI

Abstract

Dal rilascio di Deepseek-R1, il reinforcement learning con ricompense verificabili (RLVR) è diventato un approccio centrale per l'addestramento di grandi modelli linguistici (LLM) su compiti di ragionamento. Il lavoro recente si è concentrato principalmente sulla modifica delle funzioni di perdita per rendere l'RLVR più efficiente ed efficace. In questo articolo, motivati da studi sull'overthinking nei LLM, proponiamo il Length-aware Sampling for Policy Optimization (LSPO), un nuovo algoritmo meta-RLVR che seleziona dinamicamente i dati di addestramento ad ogni passo in base alla lunghezza media della risposta. Valutiamo LSPO su più modelli di base e dataset, dimostrando che migliora costantemente l'efficacia dell'apprendimento. Inoltre, conduciamo uno studio di ablazione dettagliato per esaminare modalità alternative di incorporare i segnali di lunghezza nel campionamento dinamico, offrendo ulteriori approfondimenti e evidenziando direzioni promettenti per la ricerca futura.

English

Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.