Adattamento della Politica al Momento del Test per Migliorare le Interazioni Multi-Turn con i Modelli Linguistici di Grande Dimensione

Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs

September 27, 2025

Autori: Chenxing Wei, Hong Wang, Ying He, Fei Yu, Yao Shu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) utilizzano l'interazione multi-turn come paradigma fondamentale per completare compiti complessi. Tuttavia, le loro prestazioni spesso si degradano nelle interazioni prolungate, poiché sono tipicamente addestrati su dati statici e single-turn, il che ostacola la loro capacità di adattarsi al feedback in tempo reale degli utenti. Per affrontare questa limitazione, proponiamo innanzitutto un nuovo paradigma: l'Adattamento della Politica al Tempo di Test per Interazioni Multi-Turn (T2PAM), che utilizza il feedback dell'utente dall'interazione in corso come segnale di ricompensa per stimare una politica ottimale latente allineata con le preferenze dell'utente, quindi aggiorna un piccolo sottoinsieme di parametri per orientare il modello verso questa politica, consentendo infine un'autocorrezione efficiente durante la conversazione. Introduciamo poi l'Adattamento One-Step con Riferimento all'Ottimo (ROSA), un algoritmo leggero che implementa T2PAM. ROSA guida i parametri del modello verso una politica ottimale teorica in un unico passo di aggiornamento efficiente, evitando costose ottimizzazioni iterative basate sul gradiente e minimizzando l'overhead computazionale. Forniamo un'analisi teorica rigorosa che garantisce che la politica di ROSA converga alle preferenze dell'utente all'aumentare del numero di interazioni. Esperimenti estesi su benchmark impegnativi dimostrano che ROSA ottiene miglioramenti significativi sia nell'efficacia che nell'efficienza del compito.

English

Large Language Models (LLMs) employ multi-turn interaction as a fundamental paradigm for completing complex tasks. However, their performance often degrades in extended interactions, as they are typically trained on static, single-turn data, which hinders their ability to adapt to real-time user feedback. To address this limitation, we first propose a new paradigm: Test-Time Policy Adaptation for Multi-Turn Interactions (T2PAM), which utilizes user feedback from the ongoing interaction as a reward signal to estimate a latent optimal policy aligned with user preferences, then updates a small subset of parameters to steer the model toward this policy, ultimately enabling efficient in-conversation self-correction. We then introduce Optimum-Referenced One-Step Adaptation (ROSA), a lightweight algorithm that operationalizes T2PAM. ROSA guides the model parameters toward a theoretical optimal policy in a single, efficient update step, avoiding costly iterative gradient-based optimization and minimizing computational overhead. We provide a rigorous theoretical analysis guaranteeing that the policy of ROSA converges to the preference of user as the number of interactions increases. Extensive experiments on challenging benchmark demonstrate that ROSA achieves significant improvements in both task effectiveness and efficiency.