Адаптация политики во время тестирования для улучшения многоходовых взаимодействий с крупными языковыми моделями

Test-Time Policy Adaptation for Enhanced Multi-Turn Interactions with LLMs

September 27, 2025

Авторы: Chenxing Wei, Hong Wang, Ying He, Fei Yu, Yao Shu

cs.AI

Аннотация

Крупные языковые модели (LLM) используют многошаговое взаимодействие как базовую парадигму для выполнения сложных задач. Однако их производительность часто снижается в ходе продолжительных взаимодействий, поскольку они обычно обучаются на статических, одношаговых данных, что ограничивает их способность адаптироваться к обратной связи пользователя в реальном времени. Чтобы устранить это ограничение, мы сначала предлагаем новую парадигму: Адаптацию политики во время тестирования для многошаговых взаимодействий (T2PAM), которая использует обратную связь пользователя из текущего взаимодействия в качестве сигнала вознаграждения для оценки скрытой оптимальной политики, соответствующей предпочтениям пользователя, а затем обновляет небольшое подмножество параметров, чтобы направить модель к этой политике, что в конечном итоге позволяет эффективно корректировать модель в ходе диалога. Затем мы представляем Однократную адаптацию с опорой на оптимум (ROSA), легковесный алгоритм, который реализует T2PAM. ROSA направляет параметры модели к теоретически оптимальной политике за один эффективный шаг обновления, избегая затратной итеративной оптимизации на основе градиентов и минимизируя вычислительные затраты. Мы предоставляем строгий теоретический анализ, гарантирующий, что политика ROSA сходится к предпочтениям пользователя с увеличением числа взаимодействий. Многочисленные эксперименты на сложных бенчмарках демонстрируют, что ROSA достигает значительных улучшений как в эффективности выполнения задач, так и в их результативности.

English

Large Language Models (LLMs) employ multi-turn interaction as a fundamental paradigm for completing complex tasks. However, their performance often degrades in extended interactions, as they are typically trained on static, single-turn data, which hinders their ability to adapt to real-time user feedback. To address this limitation, we first propose a new paradigm: Test-Time Policy Adaptation for Multi-Turn Interactions (T2PAM), which utilizes user feedback from the ongoing interaction as a reward signal to estimate a latent optimal policy aligned with user preferences, then updates a small subset of parameters to steer the model toward this policy, ultimately enabling efficient in-conversation self-correction. We then introduce Optimum-Referenced One-Step Adaptation (ROSA), a lightweight algorithm that operationalizes T2PAM. ROSA guides the model parameters toward a theoretical optimal policy in a single, efficient update step, avoiding costly iterative gradient-based optimization and minimizing computational overhead. We provide a rigorous theoretical analysis guaranteeing that the policy of ROSA converges to the preference of user as the number of interactions increases. Extensive experiments on challenging benchmark demonstrate that ROSA achieves significant improvements in both task effectiveness and efficiency.