Adaptación de Políticas en Tiempo de Prueba para Mejorar las Interacciones de Múltiples Turnos con Modelos de Lenguaje de Gran Escala

Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs

September 27, 2025

Autores: Chenxing Wei, Hong Wang, Ying He, Fei Yu, Yao Shu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) emplean la interacción multiturno como un paradigma fundamental para completar tareas complejas. Sin embargo, su rendimiento a menudo se degrada en interacciones prolongadas, ya que generalmente se entrenan con datos estáticos de un solo turno, lo que limita su capacidad para adaptarse a la retroalimentación del usuario en tiempo real. Para abordar esta limitación, primero proponemos un nuevo paradigma: Adaptación de Políticas en Tiempo de Prueba para Interacciones Multiturno (T2PAM, por sus siglas en inglés), que utiliza la retroalimentación del usuario de la interacción en curso como una señal de recompensa para estimar una política óptima latente alineada con las preferencias del usuario, luego actualiza un subconjunto pequeño de parámetros para guiar el modelo hacia esta política, permitiendo finalmente una autocorrección eficiente durante la conversación. A continuación, presentamos Adaptación de Un Paso Referenciada al Óptimo (ROSA, por sus siglas en inglés), un algoritmo ligero que implementa T2PAM. ROSA guía los parámetros del modelo hacia una política óptima teórica en un solo paso de actualización eficiente, evitando la costosa optimización iterativa basada en gradientes y minimizando la sobrecarga computacional. Proporcionamos un análisis teórico riguroso que garantiza que la política de ROSA converge a las preferencias del usuario a medida que aumenta el número de interacciones. Experimentos extensos en puntos de referencia desafiantes demuestran que ROSA logra mejoras significativas tanto en la efectividad como en la eficiencia de las tareas.

English

Large Language Models (LLMs) employ multi-turn interaction as a fundamental paradigm for completing complex tasks. However, their performance often degrades in extended interactions, as they are typically trained on static, single-turn data, which hinders their ability to adapt to real-time user feedback. To address this limitation, we first propose a new paradigm: Test-Time Policy Adaptation for Multi-Turn Interactions (T2PAM), which utilizes user feedback from the ongoing interaction as a reward signal to estimate a latent optimal policy aligned with user preferences, then updates a small subset of parameters to steer the model toward this policy, ultimately enabling efficient in-conversation self-correction. We then introduce Optimum-Referenced One-Step Adaptation (ROSA), a lightweight algorithm that operationalizes T2PAM. ROSA guides the model parameters toward a theoretical optimal policy in a single, efficient update step, avoiding costly iterative gradient-based optimization and minimizing computational overhead. We provide a rigorous theoretical analysis guaranteeing that the policy of ROSA converges to the preference of user as the number of interactions increases. Extensive experiments on challenging benchmark demonstrate that ROSA achieves significant improvements in both task effectiveness and efficiency.