LSPO: Динамическая выборка с учетом длины для оптимизации стратегии в рассуждениях на основе крупных языковых моделей

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning

October 1, 2025

Авторы: Weizhe Chen, Sven Koenig, Bistra Dilkina

cs.AI

Аннотация

С момента выпуска Deepseek-R1 обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) стало ключевым подходом для обучения больших языковых моделей (LLM) на задачах логического рассуждения. В последних работах основное внимание уделялось модификации функций потерь для повышения эффективности и результативности RLVR. В данной статье, основываясь на исследованиях феномена "переобдумывания" в LLM, мы предлагаем Length-aware Sampling for Policy Optimization (LSPO) — новый мета-алгоритм RLVR, который динамически выбирает обучающие данные на каждом шаге на основе средней длины ответа. Мы оцениваем LSPO на нескольких базовых моделях и наборах данных, демонстрируя, что он последовательно повышает эффективность обучения. Кроме того, мы проводим детальное исследование с исключением переменных, чтобы изучить альтернативные способы включения сигналов длины в динамическую выборку, предлагая дополнительные инсайты и выделяя перспективные направления для будущих исследований.

English

Since the release of Deepseek-R1, reinforcement learning with verifiable rewards (RLVR) has become a central approach for training large language models (LLMs) on reasoning tasks. Recent work has largely focused on modifying loss functions to make RLVR more efficient and effective. In this paper, motivated by studies of overthinking in LLMs, we propose Length-aware Sampling for Policy Optimization (LSPO), a novel meta-RLVR algorithm that dynamically selects training data at each step based on the average response length. We evaluate LSPO across multiple base models and datasets, demonstrating that it consistently improves learning effectiveness. In addition, we conduct a detailed ablation study to examine alternative ways of incorporating length signals into dynamic sampling, offering further insights and highlighting promising directions for future research.