DRIFT: Rollouts Desacoplados e Ajuste Fino Ponderado por Importância para Otimização Eficiente em Múltiplas Rodadas

Resumo

Modelos de linguagem de grande escala são cada vez mais implantados em ambientes interativos de múltiplas rodadas, onde usuários ou ambientes podem fornecer feedback leve de forma iterativa. Infelizmente, otimizar esse comportamento apresenta um dilema acentuado na prática: o aprendizado por reforço online é capaz de lidar efetivamente com a dinâmica de múltiplas rodadas, mas é proibitivamente caro devido ao custo de gerar trajetórias completas de correção a cada atualização, enquanto o ajuste fino supervisionado offline (SFT) é eficiente, mas sofre com desvio de distribuição e colapso comportamental. Para esse fim, propomos de forma inovadora o DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning), uma estrutura que operacionaliza a percepção teórica de que o objetivo de RL regularizado por KL é equivalente ao aprendizado supervisionado ponderado por importância. O DRIFT desacopla a geração de trajetórias da otimização, amostrando trajetórias de interação offline de uma política de referência fixa, derivando pesos de importância baseados em retorno e otimizando a política via SFT ponderado no conjunto de dados resultante. Empiricamente, demonstramos que o DRIFT iguala ou supera o desempenho das linhas de base de aprendizado por reforço de múltiplas rodadas, mantendo a eficiência de treinamento e a simplicidade do ajuste fino supervisionado padrão. O código está disponível em https://github.com/2020-qqtcg/DRIFT.

English

Large language models are increasingly deployed in multi-turn interactive settings where users or environments can iteratively provide lightweight feedback. Unfortunately, optimizing such behavior presents a sharp dilemma in practice: online reinforcement learning is able to effectively address multi-turn dynamics but is prohibitively expensive due to the cost of generating full correction trajectories at every update, whereas offline supervised fine-tuning (SFT) is efficient but suffers from distribution shift and behavioral collapse. To this end, we novelly propose DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning), a framework that operationalizes the theoretical insight that the KL-regularized RL objective is equivalent to importance-weighted supervised learning. DRIFT decouples rollout from optimization by sampling offline interaction trajectories from a fixed reference policy, deriving return-based importance weights, and optimizing the policy via weighted SFT on the resulting dataset. Empirically, we demonstrate that DRIFT matches or exceeds the performance of multi-turn reinforcement learning baselines while maintaining the training efficiency and simplicity of standard supervised fine-tuning. Code is available at https://github.com/2020-qqtcg/DRIFT.