DRIFT: Ontkoppelde Uitrols en Belangrijkheidsgewogen Fijnafstemming voor Efficiënte Multi-Beurt Optimalisatie

Samenvatting

Grote taalmodellen worden steeds vaker ingezet in interactieve omgevingen met meerdere gespreksronden, waarin gebruikers of omgevingen iteratief lichtgewicht feedback kunnen geven. Helaas levert het optimaliseren van dergelijk gedrag in de praktijk een scherp dilemma op: online reinforcement learning kan multi-turn-dynamieken effectief aanpakken, maar is onbetaalbaar duur vanwege de kosten van het genereren van volledige correctietrajecten bij elke update, terwijl offline supervised fine-tuning (SFT) efficiënt is, maar lijdt onder distributieverschuiving en gedragsinstorting. Hiertoe stellen wij op vernieuwende wijze DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning) voor, een raamwerk dat het theoretische inzicht operationaliseert dat de KL-geregulariseerde RL-doelstelling equivalent is aan op belangrijkheid gewogen supervised learning. DRIFT ontkoppelt rollout van optimalisatie door offline interactietrajecten te bemonsteren uit een vast referentiebeleid, op opbrengst gebaseerde belangrijkheidsgewichten af te leiden en het beleid te optimaliseren via gewogen SFT op de resulterende dataset. Empirisch tonen wij aan dat DRIFT de prestaties van multi-turn reinforcement learning-baselines evenaart of overtreft, terwijl het de trainingsefficiëntie en eenvoud van standaard supervised fine-tuning behoudt. Code is beschikbaar op https://github.com/2020-qqtcg/DRIFT.

English

Large language models are increasingly deployed in multi-turn interactive settings where users or environments can iteratively provide lightweight feedback. Unfortunately, optimizing such behavior presents a sharp dilemma in practice: online reinforcement learning is able to effectively address multi-turn dynamics but is prohibitively expensive due to the cost of generating full correction trajectories at every update, whereas offline supervised fine-tuning (SFT) is efficient but suffers from distribution shift and behavioral collapse. To this end, we novelly propose DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning), a framework that operationalizes the theoretical insight that the KL-regularized RL objective is equivalent to importance-weighted supervised learning. DRIFT decouples rollout from optimization by sampling offline interaction trajectories from a fixed reference policy, deriving return-based importance weights, and optimizing the policy via weighted SFT on the resulting dataset. Empirically, we demonstrate that DRIFT matches or exceeds the performance of multi-turn reinforcement learning baselines while maintaining the training efficiency and simplicity of standard supervised fine-tuning. Code is available at https://github.com/2020-qqtcg/DRIFT.