Alignement des objectifs dans les simulateurs d'utilisateurs basés sur LLM pour l'IA conversationnelle
Goal Alignment in LLM-Based User Simulators for Conversational AI
July 27, 2025
papers.authors: Shuhaib Mehri, Xiaocheng Yang, Takyoung Kim, Gokhan Tur, Shikib Mehri, Dilek Hakkani-Tür
cs.AI
papers.abstract
Les simulateurs d'utilisateurs sont essentiels à l'IA conversationnelle, permettant un développement et une évaluation évolutifs des agents grâce à des interactions simulées. Bien que les modèles de langage de grande taille (LLMs) actuels aient fait progresser les capacités de simulation d'utilisateurs, nous révélons qu'ils peinent à démontrer de manière cohérente un comportement orienté objectif dans des conversations multi-tours—une limitation critique qui compromet leur fiabilité dans les applications en aval. Nous introduisons le suivi de l'état des objectifs utilisateur (User Goal State Tracking, UGST), un cadre novateur qui suit la progression des objectifs de l'utilisateur tout au long des conversations. En exploitant UGST, nous présentons une méthodologie en trois étapes pour développer des simulateurs d'utilisateurs capables de suivre de manière autonome la progression des objectifs et de raisonner pour générer des réponses alignées sur ces objectifs. De plus, nous établissons des métriques d'évaluation complètes pour mesurer l'alignement sur les objectifs dans les simulateurs d'utilisateurs, et démontrons que notre approche apporte des améliorations substantielles sur deux benchmarks (MultiWOZ 2.4 et {\tau}-Bench). Nos contributions comblent une lacune critique dans l'IA conversationnelle et établissent UGST comme un cadre essentiel pour développer des simulateurs d'utilisateurs alignés sur les objectifs.
English
User simulators are essential to conversational AI, enabling scalable agent
development and evaluation through simulated interactions. While current Large
Language Models (LLMs) have advanced user simulation capabilities, we reveal
that they struggle to consistently demonstrate goal-oriented behavior across
multi-turn conversations--a critical limitation that compromises their
reliability in downstream applications. We introduce User Goal State Tracking
(UGST), a novel framework that tracks user goal progression throughout
conversations. Leveraging UGST, we present a three-stage methodology for
developing user simulators that can autonomously track goal progression and
reason to generate goal-aligned responses. Moreover, we establish comprehensive
evaluation metrics for measuring goal alignment in user simulators, and
demonstrate that our approach yields substantial improvements across two
benchmarks (MultiWOZ 2.4 and {\tau}-Bench). Our contributions address a
critical gap in conversational AI and establish UGST as an essential framework
for developing goal-aligned user simulators.