Connais-toi d'abord et sois toi-même mieux : Modélisation de simulateurs d'utilisateurs humains via des profils implicites

Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles

February 26, 2025

Auteurs: Kuang Wang, Xianfei Li, Shenghao Yang, Li Zhou, Feng Jiang, Haizhou Li

cs.AI

Résumé

Les simulateurs d'utilisateurs sont essentiels pour reproduire les interactions humaines avec les systèmes de dialogue, soutenant à la fois l'entraînement collaboratif et l'évaluation automatique, en particulier pour les grands modèles de langage (LLMs). Cependant, les simulateurs existants reposent souvent uniquement sur des énoncés textuels, négligeant des traits implicites de l'utilisateur tels que la personnalité, le style de parole et les objectifs. En revanche, les méthodes basées sur des personnages manquent de généralisabilité, car elles dépendent de profils prédéfinis de personnalités célèbres ou d'archétypes. Pour relever ces défis, nous proposons le simulateur d'utilisateurs avec profils implicites (USP), un cadre qui infère des profils d'utilisateurs implicites à partir de conversations homme-machine et les utilise pour générer des dialogues plus personnalisés et réalistes. Nous développons d'abord un extracteur piloté par un LLM avec un schéma de profil complet. Ensuite, nous affinons la simulation par un réglage supervisé conditionnel et un apprentissage par renforcement avec cohérence cyclique, l'optimisant à la fois au niveau des énoncés et des conversations. Enfin, nous adoptons un échantillonneur de profils diversifié pour capturer la distribution des profils d'utilisateurs réels. Les résultats expérimentaux montrent que USP surpasse les bases de référence en termes d'authenticité et de diversité tout en atteignant des performances comparables en cohérence. De plus, les évaluations dynamiques multi-tours basées sur USP s'alignent fortement avec les benchmarks dominants, démontrant son efficacité dans des applications réelles.

English

User simulators are crucial for replicating human interactions with dialogue systems, supporting both collaborative training and automatic evaluation, especially for large language models (LLMs). However, existing simulators often rely solely on text utterances, missing implicit user traits such as personality, speaking style, and goals. In contrast, persona-based methods lack generalizability, as they depend on predefined profiles of famous individuals or archetypes. To address these challenges, we propose User Simulator with implicit Profiles (USP), a framework that infers implicit user profiles from human-machine conversations and uses them to generate more personalized and realistic dialogues. We first develop an LLM-driven extractor with a comprehensive profile schema. Then, we refine the simulation through conditional supervised fine-tuning and reinforcement learning with cycle consistency, optimizing it at both the utterance and conversation levels. Finally, we adopt a diverse profile sampler to capture the distribution of real-world user profiles. Experimental results demonstrate that USP outperforms strong baselines in terms of authenticity and diversity while achieving comparable performance in consistency. Furthermore, dynamic multi-turn evaluations based on USP strongly align with mainstream benchmarks, demonstrating its effectiveness in real-world applications.