Erkenne dich zuerst und sei besser du selbst: Modellierung menschenähnlicher Benutzersimulatoren durch implizite Profile

Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles

February 26, 2025

Autoren: Kuang Wang, Xianfei Li, Shenghao Yang, Li Zhou, Feng Jiang, Haizhou Li

cs.AI

Zusammenfassung

Benutzersimulatoren sind entscheidend, um menschliche Interaktionen mit Dialogsystemen nachzubilden, und unterstützen sowohl das gemeinsame Training als auch die automatische Bewertung, insbesondere für große Sprachmodelle (LLMs). Bisherige Simulatoren stützen sich jedoch oft ausschließlich auf Textäußerungen und übersehen dabei implizite Benutzermerkmale wie Persönlichkeit, Sprechstil und Ziele. Im Gegensatz dazu mangelt es persona-basierten Methoden an Generalisierbarkeit, da sie auf vordefinierten Profilen berühmter Personen oder Archetypen basieren. Um diese Herausforderungen zu bewältigen, schlagen wir den User Simulator with implicit Profiles (USP) vor, ein Framework, das implizite Benutzerprofile aus Mensch-Maschine-Gesprächen ableitet und sie zur Erzeugung personalisierter und realistischerer Dialoge nutzt. Zunächst entwickeln wir einen LLM-gesteuerten Extraktor mit einem umfassenden Profilschema. Anschließend verfeinern wir die Simulation durch bedingtes überwachtes Fein-Tuning und Reinforcement Learning mit Zyklenkonsistenz, wodurch sie sowohl auf Äußerungs- als auch auf Konversationsebene optimiert wird. Schließlich verwenden wir einen diversen Profil-Sampler, um die Verteilung realer Benutzerprofile zu erfassen. Experimentelle Ergebnisse zeigen, dass USP starke Baselines in Bezug auf Authentizität und Vielfalt übertrifft, während es vergleichbare Leistungen in der Konsistenz erzielt. Darüber hinaus zeigen dynamische Mehrfachbewertungen auf Basis von USP eine starke Übereinstimmung mit gängigen Benchmarks, was seine Effektivität in realen Anwendungen unterstreicht.

English

User simulators are crucial for replicating human interactions with dialogue systems, supporting both collaborative training and automatic evaluation, especially for large language models (LLMs). However, existing simulators often rely solely on text utterances, missing implicit user traits such as personality, speaking style, and goals. In contrast, persona-based methods lack generalizability, as they depend on predefined profiles of famous individuals or archetypes. To address these challenges, we propose User Simulator with implicit Profiles (USP), a framework that infers implicit user profiles from human-machine conversations and uses them to generate more personalized and realistic dialogues. We first develop an LLM-driven extractor with a comprehensive profile schema. Then, we refine the simulation through conditional supervised fine-tuning and reinforcement learning with cycle consistency, optimizing it at both the utterance and conversation levels. Finally, we adopt a diverse profile sampler to capture the distribution of real-world user profiles. Experimental results demonstrate that USP outperforms strong baselines in terms of authenticity and diversity while achieving comparable performance in consistency. Furthermore, dynamic multi-turn evaluations based on USP strongly align with mainstream benchmarks, demonstrating its effectiveness in real-world applications.