Adaptation de la politique en temps de test pour des interactions multi-tours améliorées avec les LLM

Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs

September 27, 2025

papers.authors: Chenxing Wei, Hong Wang, Ying He, Fei Yu, Yao Shu

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) utilisent l'interaction multi-tours comme paradigme fondamental pour accomplir des tâches complexes. Cependant, leurs performances se dégradent souvent lors d'interactions prolongées, car ils sont généralement entraînés sur des données statiques à un seul tour, ce qui limite leur capacité à s'adapter aux retours utilisateur en temps réel. Pour remédier à cette limitation, nous proposons d'abord un nouveau paradigme : l'Adaptation de Politique en Temps de Test pour les Interactions Multi-Tours (T2PAM), qui utilise les retours utilisateur de l'interaction en cours comme signal de récompense pour estimer une politique optimale latente alignée sur les préférences de l'utilisateur, puis met à jour un petit sous-ensemble de paramètres pour orienter le modèle vers cette politique, permettant ainsi une autocorrection efficace en cours de conversation. Nous introduisons ensuite l'Adaptation en Une Étape Référencée à l'Optimum (ROSA), un algorithme léger qui met en œuvre T2PAM. ROSA guide les paramètres du modèle vers une politique optimale théorique en une seule étape de mise à jour efficace, évitant ainsi une optimisation itérative coûteuse basée sur le gradient et minimisant la surcharge computationnelle. Nous fournissons une analyse théorique rigoureuse garantissant que la politique de ROSA converge vers les préférences de l'utilisateur à mesure que le nombre d'interactions augmente. Des expériences approfondies sur des benchmarks exigeants démontrent que ROSA apporte des améliorations significatives à la fois en termes d'efficacité de la tâche et d'efficience.

English

Large Language Models (LLMs) employ multi-turn interaction as a fundamental paradigm for completing complex tasks. However, their performance often degrades in extended interactions, as they are typically trained on static, single-turn data, which hinders their ability to adapt to real-time user feedback. To address this limitation, we first propose a new paradigm: Test-Time Policy Adaptation for Multi-Turn Interactions (T2PAM), which utilizes user feedback from the ongoing interaction as a reward signal to estimate a latent optimal policy aligned with user preferences, then updates a small subset of parameters to steer the model toward this policy, ultimately enabling efficient in-conversation self-correction. We then introduce Optimum-Referenced One-Step Adaptation (ROSA), a lightweight algorithm that operationalizes T2PAM. ROSA guides the model parameters toward a theoretical optimal policy in a single, efficient update step, avoiding costly iterative gradient-based optimization and minimizing computational overhead. We provide a rigorous theoretical analysis guaranteeing that the policy of ROSA converges to the preference of user as the number of interactions increases. Extensive experiments on challenging benchmark demonstrate that ROSA achieves significant improvements in both task effectiveness and efficiency.