DRIFT: Entkoppelte Rollouts und Importance-gewichtetes Fine-Tuning für effiziente Multi-Turn-Optimierung

Zusammenfassung

Große Sprachmodelle werden zunehmend in mehrschrittigen interaktiven Umgebungen eingesetzt, in denen Nutzer oder Umgebungen iterativ leichtgewichtiges Feedback geben können. Leider stellt die Optimierung eines solchen Verhaltens in der Praxis ein scharfes Dilemma dar: Online-Verstärkungslernen kann mehrschrittige Dynamiken effektiv adressieren, ist jedoch aufgrund der Kosten für die Generierung vollständiger Korrekturverläufe bei jedem Update unerschwinglich teuer, während Offline-überwachtes Feintuning (SFT) effizient ist, aber unter Verteilungsverschiebung und Verhaltenskollaps leidet. Zu diesem Zweck schlagen wir neuartig DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning) vor, ein Rahmenwerk, das die theoretische Erkenntnis operationalisiert, dass das KL-regulierte RL-Ziel äquivalent zu bedeutungsgewichtetem überwachtem Lernen ist. DRIFT entkoppelt Rollouts von der Optimierung, indem es Offline-Interaktionsverläufe aus einer festen Referenzpolitik abtastet, rückgabebasierte Bedeutungsgewichte ableitet und die Politik mittels gewichtetem SFT auf dem resultierenden Datensatz optimiert. Empirisch zeigen wir, dass DRIFT die Leistung von Mehrschritt-Verstärkungslern-Baselines erreicht oder übertrifft, während es die Trainingseffizienz und Einfachheit des standardmäßigen überwachten Feintunings beibehält. Code ist verfügbar unter https://github.com/2020-qqtcg/DRIFT.

English

Large language models are increasingly deployed in multi-turn interactive settings where users or environments can iteratively provide lightweight feedback. Unfortunately, optimizing such behavior presents a sharp dilemma in practice: online reinforcement learning is able to effectively address multi-turn dynamics but is prohibitively expensive due to the cost of generating full correction trajectories at every update, whereas offline supervised fine-tuning (SFT) is efficient but suffers from distribution shift and behavioral collapse. To this end, we novelly propose DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning), a framework that operationalizes the theoretical insight that the KL-regularized RL objective is equivalent to importance-weighted supervised learning. DRIFT decouples rollout from optimization by sampling offline interaction trajectories from a fixed reference policy, deriving return-based importance weights, and optimizing the policy via weighted SFT on the resulting dataset. Empirically, we demonstrate that DRIFT matches or exceeds the performance of multi-turn reinforcement learning baselines while maintaining the training efficiency and simplicity of standard supervised fine-tuning. Code is available at https://github.com/2020-qqtcg/DRIFT.