RLVR Efficiente in Termini di Dati tramite Guida d'Influenza Off-Policy

Data-Efficient RLVR via Off-Policy Influence Guidance

October 30, 2025

Autori: Erle Zhu, Dazhi Jiang, Yuan Wang, Xujun Li, Jiale Cheng, Yuxian Gu, Yilin Niu, Aohan Zeng, Jie Tang, Minlie Huang, Hongning Wang

cs.AI

Abstract

La selezione dei dati è un aspetto cruciale del Reinforcement Learning con Ricompense Verificabili (RLVR) per potenziare le capacità di ragionamento dei grandi modelli linguistici (LLM). Gli attuali metodi di selezione dati sono prevalentemente basati su euristiche, privi di garanzie teoriche e generalizzabilità. Questo lavoro propone un approccio teoricamente fondato che utilizza le funzioni di influenza per stimare il contributo di ogni punto dati all'obiettivo di apprendimento. Per superare il costo computazionale proibitivo dei rollout della politica richiesti per la stima d'influenza online, introduciamo un metodo di stima d'influenza off-policy che approssima efficientemente l'influenza dei dati utilizzando traiettorie offline pre-raccolte. Inoltre, per gestire i gradienti ad alta dimensionalità degli LLM, impieghiamo la proiezione casuale sparsa per ridurre la dimensionalità e migliorare l'efficienza di archiviazione e calcolo. Sfruttando queste tecniche, sviluppiamo CROPI (Curriculum RL with Off-Policy Influence guidance), un framework RL multi-stadio che seleziona iterativamente i dati più influenti per la politica corrente. Esperimenti su modelli fino a 7 miliardi di parametri dimostrano che CROPI accelera significativamente l'addestramento. Su un modello da 1,5 miliardi, raggiunge un'accelerazione a livello di step di 2,66x utilizzando solo il 10% dei dati per stadio rispetto all'addestramento con dataset completo. I nostri risultati evidenziano il potenziale sostanziale della selezione dati basata sull'influenza per un RLVR efficiente.

English

Data selection is a critical aspect of Reinforcement Learning with Verifiable Rewards (RLVR) for enhancing the reasoning capabilities of large language models (LLMs). Current data selection methods are largely heuristic-based, lacking theoretical guarantees and generalizability. This work proposes a theoretically-grounded approach using influence functions to estimate the contribution of each data point to the learning objective. To overcome the prohibitive computational cost of policy rollouts required for online influence estimation, we introduce an off-policy influence estimation method that efficiently approximates data influence using pre-collected offline trajectories. Furthermore, to manage the high-dimensional gradients of LLMs, we employ sparse random projection to reduce dimensionality and improve storage and computation efficiency. Leveraging these techniques, we develop Curriculum RL with Off-Policy Influence guidance (CROPI), a multi-stage RL framework that iteratively selects the most influential data for the current policy. Experiments on models up to 7B parameters demonstrate that CROPI significantly accelerates training. On a 1.5B model, it achieves a 2.66x step-level acceleration while using only 10\% of the data per stage compared to full-dataset training. Our results highlight the substantial potential of influence-based data selection for efficient RLVR.