RLVR com Eficiência de Dados via Orientação por Influência Fora da Política

Resumo

A seleção de dados é um aspeto crítico do Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para melhorar as capacidades de raciocínio de modelos de linguagem grandes (LLMs). Os métodos atuais de seleção de dados são amplamente baseados em heurísticas, carecendo de garantias teóricas e generalizabilidade. Este trabalho propõe uma abordagem fundamentada teoricamente que utiliza funções de influência para estimar a contribuição de cada ponto de dados para o objetivo de aprendizagem. Para superar o custo computacional proibitivo das simulações de política necessárias para a estimativa de influência online, introduzimos um método de estimativa de influência fora da política que aproxima eficientemente a influência dos dados usando trajectórias offline pré-coletadas. Além disso, para gerir os gradientes de alta dimensionalidade dos LLMs, empregamos uma projeção aleatória esparsa para reduzir a dimensionalidade e melhorar a eficiência de armazenamento e computação. Aproveitando estas técnicas, desenvolvemos o *Curriculum RL with Off-Policy Influence guidance* (CROPI), uma estrutura de RL multiestágio que seleciona iterativamente os dados mais influentes para a política atual. Experiências em modelos com até 7 mil milhões de parâmetros demonstram que o CROPI acelera significativamente o treino. Num modelo de 1,5 mil milhões de parâmetros, alcança uma aceleração de 2,66x ao nível do passo, utilizando apenas 10\% dos dados por estágio em comparação com o treino com o conjunto de dados completo. Os nossos resultados destacam o potencial substancial da seleção de dados baseada em influência para um RLVR eficiente.

English

Data selection is a critical aspect of Reinforcement Learning with Verifiable Rewards (RLVR) for enhancing the reasoning capabilities of large language models (LLMs). Current data selection methods are largely heuristic-based, lacking theoretical guarantees and generalizability. This work proposes a theoretically-grounded approach using influence functions to estimate the contribution of each data point to the learning objective. To overcome the prohibitive computational cost of policy rollouts required for online influence estimation, we introduce an off-policy influence estimation method that efficiently approximates data influence using pre-collected offline trajectories. Furthermore, to manage the high-dimensional gradients of LLMs, we employ sparse random projection to reduce dimensionality and improve storage and computation efficiency. Leveraging these techniques, we develop Curriculum RL with Off-Policy Influence guidance (CROPI), a multi-stage RL framework that iteratively selects the most influential data for the current policy. Experiments on models up to 7B parameters demonstrate that CROPI significantly accelerates training. On a 1.5B model, it achieves a 2.66x step-level acceleration while using only 10\% of the data per stage compared to full-dataset training. Our results highlight the substantial potential of influence-based data selection for efficient RLVR.

RLVR com Eficiência de Dados via Orientação por Influência Fora da Política

Data-Efficient RLVR via Off-Policy Influence Guidance

Resumo

Support