DRIFT: Rollouts Desacoplados y Ajuste Fino Ponderado por Importancia para la Optimización Eficiente de Múltiples Turnos

Resumen

Los modelos de lenguaje grandes se implementan cada vez más en entornos interactivos de múltiples turnos, donde los usuarios o el entorno pueden proporcionar retroalimentación ligera de forma iterativa. Lamentablemente, optimizar dicho comportamiento presenta un dilema agudo en la práctica: el aprendizaje por refuerzo en línea puede abordar eficazmente las dinámicas de múltiples turnos, pero resulta prohibitivamente costoso debido al gasto de generar trayectorias de corrección completas en cada actualización, mientras que el ajuste fino supervisado (SFT) fuera de línea es eficiente pero sufre de cambio de distribución y colapso conductual. Con este fin, proponemos de manera novedosa DRIFT (Despliegues Desacoplados y Ajuste Fino Ponderado por Importancia), un marco que operacionaliza la idea teórica de que el objetivo de RL regularizado por KL es equivalente al aprendizaje supervisado ponderado por importancia. DRIFT desacopla el despliegue de la optimización al muestrear trayectorias de interacción fuera de línea a partir de una política de referencia fija, derivar pesos de importancia basados en retornos y optimizar la política mediante SFT ponderado sobre el conjunto de datos resultante. Empíricamente, demostramos que DRIFT iguala o supera el rendimiento de las líneas base de aprendizaje por refuerzo de múltiples turnos, manteniendo al mismo tiempo la eficiencia de entrenamiento y la simplicidad del ajuste fino supervisado estándar. El código está disponible en https://github.com/2020-qqtcg/DRIFT.

English

Large language models are increasingly deployed in multi-turn interactive settings where users or environments can iteratively provide lightweight feedback. Unfortunately, optimizing such behavior presents a sharp dilemma in practice: online reinforcement learning is able to effectively address multi-turn dynamics but is prohibitively expensive due to the cost of generating full correction trajectories at every update, whereas offline supervised fine-tuning (SFT) is efficient but suffers from distribution shift and behavioral collapse. To this end, we novelly propose DRIFT (Decoupled Rollouts and Importance-Weighted Fine-Tuning), a framework that operationalizes the theoretical insight that the KL-regularized RL objective is equivalent to importance-weighted supervised learning. DRIFT decouples rollout from optimization by sampling offline interaction trajectories from a fixed reference policy, deriving return-based importance weights, and optimizing the policy via weighted SFT on the resulting dataset. Empirically, we demonstrate that DRIFT matches or exceeds the performance of multi-turn reinforcement learning baselines while maintaining the training efficiency and simplicity of standard supervised fine-tuning. Code is available at https://github.com/2020-qqtcg/DRIFT.