Acelerando el Aprendizaje de Nash a partir de Retroalimentación Humana mediante Prox Espejo
Accelerating Nash Learning from Human Feedback via Mirror Prox
May 26, 2025
Autores: Daniil Tiapkin, Daniele Calandriello, Denis Belomestny, Eric Moulines, Alexey Naumov, Kashif Rasul, Michal Valko, Pierre Menard
cs.AI
Resumen
El Aprendizaje por Refuerzo Tradicional a partir de Retroalimentación Humana (RLHF) a menudo depende de modelos de recompensa, asumiendo frecuentemente estructuras de preferencia como el modelo de Bradley-Terry, que puede no capturar con precisión las complejidades de las preferencias humanas reales (por ejemplo, la intransitividad). El Aprendizaje de Nash a partir de Retroalimentación Humana (NLHF) ofrece una alternativa más directa al plantear el problema como la búsqueda de un equilibrio de Nash en un juego definido por estas preferencias. En este trabajo, presentamos Nash Mirror Prox (Nash-MP), un algoritmo en línea de NLHF que aprovecha el esquema de optimización Mirror Prox para lograr una convergencia rápida y estable hacia el equilibrio de Nash. Nuestro análisis teórico establece que Nash-MP exhibe una convergencia lineal de última iteración hacia el equilibrio de Nash beta-regularizado. Específicamente, demostramos que la divergencia KL hacia la política óptima disminuye a una tasa de orden (1+2beta)^{-N/2}, donde N es el número de consultas de preferencia. Además, demostramos una convergencia lineal de última iteración para la brecha de explotabilidad y de manera uniforme para la semi-norma de span de los logaritmos de probabilidades, siendo todas estas tasas independientes del tamaño del espacio de acciones. Asimismo, proponemos y analizamos una versión aproximada de Nash-MP donde los pasos proximales se estiman utilizando gradientes de política estocásticos, acercando el algoritmo a aplicaciones prácticas. Finalmente, detallamos una estrategia de implementación práctica para el ajuste fino de modelos de lenguaje grandes y presentamos experimentos que demuestran su rendimiento competitivo y compatibilidad con métodos existentes.
English
Traditional Reinforcement Learning from Human Feedback (RLHF) often relies on
reward models, frequently assuming preference structures like the Bradley-Terry
model, which may not accurately capture the complexities of real human
preferences (e.g., intransitivity). Nash Learning from Human Feedback (NLHF)
offers a more direct alternative by framing the problem as finding a Nash
equilibrium of a game defined by these preferences. In this work, we introduce
Nash Mirror Prox (Nash-MP), an online NLHF algorithm that leverages
the Mirror Prox optimization scheme to achieve fast and stable convergence to
the Nash equilibrium. Our theoretical analysis establishes that Nash-MP
exhibits last-iterate linear convergence towards the beta-regularized Nash
equilibrium. Specifically, we prove that the KL-divergence to the optimal
policy decreases at a rate of order (1+2beta)^{-N/2}, where N is a number
of preference queries. We further demonstrate last-iterate linear convergence
for the exploitability gap and uniformly for the span semi-norm of
log-probabilities, with all these rates being independent of the size of the
action space. Furthermore, we propose and analyze an approximate version of
Nash-MP where proximal steps are estimated using stochastic policy gradients,
making the algorithm closer to applications. Finally, we detail a practical
implementation strategy for fine-tuning large language models and present
experiments that demonstrate its competitive performance and compatibility with
existing methods.Summary
AI-Generated Summary