RLVR à Efficacité de Données par Guidage d'Influence Hors-Politique

papers.abstract

La sélection des données est un aspect crucial du Renforcement de l'Apprentissage avec Récompenses Vérifiables (RLVR) pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Les méthodes actuelles de sélection des données sont largement basées sur des heuristiques, manquant de garanties théoriques et de généralisabilité. Ce travail propose une approche théoriquement fondée utilisant les fonctions d'influence pour estimer la contribution de chaque point de données à l'objectif d'apprentissage. Pour surmonter le coût computationnel prohibitif des évaluations de politique requis pour l'estimation d'influence en ligne, nous introduisons une méthode d'estimation d'influence hors politique qui approxime efficacement l'influence des données en utilisant des trajectoires hors ligne pré-collectées. De plus, pour gérer les gradients de haute dimension des LLM, nous utilisons une projection aléatoire creuse pour réduire la dimensionalité et améliorer l'efficacité du stockage et du calcul. En tirant parti de ces techniques, nous développons le **Curriculum RL avec Guidage par Influence Hors Politique (CROPI)**, un cadre d'apprentissage par renforcement multi-étapes qui sélectionne itérativement les données les plus influentes pour la politique actuelle. Les expériences sur des modèles allant jusqu'à 7 milliards de paramètres démontrent que CROPI accélère significativement l'entraînement. Sur un modèle de 1,5 milliard de paramètres, il atteint une accélération de 2,66x au niveau des étapes tout en n'utilisant que 10 % des données par étape par rapport à un entraînement sur le jeu de données complet. Nos résultats soulignent le potentiel substantiel de la sélection de données basée sur l'influence pour un RLVR efficace.

English

Data selection is a critical aspect of Reinforcement Learning with Verifiable Rewards (RLVR) for enhancing the reasoning capabilities of large language models (LLMs). Current data selection methods are largely heuristic-based, lacking theoretical guarantees and generalizability. This work proposes a theoretically-grounded approach using influence functions to estimate the contribution of each data point to the learning objective. To overcome the prohibitive computational cost of policy rollouts required for online influence estimation, we introduce an off-policy influence estimation method that efficiently approximates data influence using pre-collected offline trajectories. Furthermore, to manage the high-dimensional gradients of LLMs, we employ sparse random projection to reduce dimensionality and improve storage and computation efficiency. Leveraging these techniques, we develop Curriculum RL with Off-Policy Influence guidance (CROPI), a multi-stage RL framework that iteratively selects the most influential data for the current policy. Experiments on models up to 7B parameters demonstrate that CROPI significantly accelerates training. On a 1.5B model, it achieves a 2.66x step-level acceleration while using only 10\% of the data per stage compared to full-dataset training. Our results highlight the substantial potential of influence-based data selection for efficient RLVR.

RLVR à Efficacité de Données par Guidage d'Influence Hors-Politique

Data-Efficient RLVR via Off-Policy Influence Guidance

papers.abstract

Support