Ken Jezelf Eerst en Wees Je Beter: Modellering van Mensachtige Gebruikerssimulators via Impliciete Profielen

Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles

February 26, 2025

Auteurs: Kuang Wang, Xianfei Li, Shenghao Yang, Li Zhou, Feng Jiang, Haizhou Li

cs.AI

Samenvatting

Gebruikerssimulatoren zijn cruciaal voor het nabootsen van menselijke interacties met dialoogsystemen, en ondersteunen zowel collaboratieve training als automatische evaluatie, vooral voor grote taalmodellen (LLM's). Bestaande simulatoren vertrouwen echter vaak uitsluitend op tekstuele uitingen, waarbij impliciete gebruikerskenmerken zoals persoonlijkheid, spreekstijl en doelen over het hoofd worden gezien. Daarentegen missen persona-gebaseerde methoden generaliseerbaarheid, omdat ze afhankelijk zijn van vooraf gedefinieerde profielen van bekende individuen of archetypen. Om deze uitdagingen aan te pakken, stellen we de User Simulator with Implicit Profiles (USP) voor, een raamwerk dat impliciete gebruikersprofielen afleidt uit mens-machine gesprekken en deze gebruikt om meer gepersonaliseerde en realistische dialogen te genereren. We ontwikkelen eerst een LLM-gestuurde extractor met een uitgebreid profielschema. Vervolgens verfijnen we de simulatie door middel van conditionele supervised fine-tuning en reinforcement learning met cyclusconsistentie, waarbij we deze optimaliseren op zowel het niveau van individuele uitingen als complete gesprekken. Ten slotte gebruiken we een diverse profielsampler om de verdeling van gebruikersprofielen in de echte wereld vast te leggen. Experimentele resultaten tonen aan dat USP sterke baseline-methoden overtreft op het gebied van authenticiteit en diversiteit, terwijl het vergelijkbare prestaties behaalt in consistentie. Bovendien komen dynamische multi-turn evaluaties op basis van USP sterk overeen met gangbare benchmarks, wat de effectiviteit ervan in praktijktoepassingen aantoont.

English

User simulators are crucial for replicating human interactions with dialogue systems, supporting both collaborative training and automatic evaluation, especially for large language models (LLMs). However, existing simulators often rely solely on text utterances, missing implicit user traits such as personality, speaking style, and goals. In contrast, persona-based methods lack generalizability, as they depend on predefined profiles of famous individuals or archetypes. To address these challenges, we propose User Simulator with implicit Profiles (USP), a framework that infers implicit user profiles from human-machine conversations and uses them to generate more personalized and realistic dialogues. We first develop an LLM-driven extractor with a comprehensive profile schema. Then, we refine the simulation through conditional supervised fine-tuning and reinforcement learning with cycle consistency, optimizing it at both the utterance and conversation levels. Finally, we adopt a diverse profile sampler to capture the distribution of real-world user profiles. Experimental results demonstrate that USP outperforms strong baselines in terms of authenticity and diversity while achieving comparable performance in consistency. Furthermore, dynamic multi-turn evaluations based on USP strongly align with mainstream benchmarks, demonstrating its effectiveness in real-world applications.