Conosci Te Stesso Prima e Sii Te Stesso Meglio: Modellazione di Simulatori di Utenti Simili agli Umani tramite Profili Impliciti

Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles

February 26, 2025

Autori: Kuang Wang, Xianfei Li, Shenghao Yang, Li Zhou, Feng Jiang, Haizhou Li

cs.AI

Abstract

I simulator utente sono cruciali per replicare le interazioni umane con i sistemi di dialogo, supportando sia l'addestramento collaborativo che la valutazione automatica, specialmente per i grandi modelli linguistici (LLM). Tuttavia, i simulatori esistenti spesso si basano esclusivamente su espressioni testuali, tralasciando tratti impliciti dell'utente come personalità, stile di comunicazione e obiettivi. Al contrario, i metodi basati su persona mancano di generalizzabilità, poiché dipendono da profili predefiniti di individui famosi o archetipi. Per affrontare queste sfide, proponiamo User Simulator with implicit Profiles (USP), un framework che inferisce profili utente impliciti dalle conversazioni uomo-macchina e li utilizza per generare dialoghi più personalizzati e realistici. In primo luogo, sviluppiamo un estrattore guidato da LLM con uno schema di profilo completo. Successivamente, affiniamo la simulazione attraverso un fine-tuning supervisionato condizionale e un apprendimento per rinforzo con consistenza ciclica, ottimizzandola sia a livello di espressione che di conversazione. Infine, adottiamo un campionatore di profili diversificato per catturare la distribuzione dei profili utente del mondo reale. I risultati sperimentali dimostrano che USP supera i baseline di riferimento in termini di autenticità e diversità, raggiungendo prestazioni comparabili in coerenza. Inoltre, le valutazioni dinamiche multi-turn basate su USP si allineano fortemente con i benchmark mainstream, dimostrando la sua efficacia nelle applicazioni reali.

English

User simulators are crucial for replicating human interactions with dialogue systems, supporting both collaborative training and automatic evaluation, especially for large language models (LLMs). However, existing simulators often rely solely on text utterances, missing implicit user traits such as personality, speaking style, and goals. In contrast, persona-based methods lack generalizability, as they depend on predefined profiles of famous individuals or archetypes. To address these challenges, we propose User Simulator with implicit Profiles (USP), a framework that infers implicit user profiles from human-machine conversations and uses them to generate more personalized and realistic dialogues. We first develop an LLM-driven extractor with a comprehensive profile schema. Then, we refine the simulation through conditional supervised fine-tuning and reinforcement learning with cycle consistency, optimizing it at both the utterance and conversation levels. Finally, we adopt a diverse profile sampler to capture the distribution of real-world user profiles. Experimental results demonstrate that USP outperforms strong baselines in terms of authenticity and diversity while achieving comparable performance in consistency. Furthermore, dynamic multi-turn evaluations based on USP strongly align with mainstream benchmarks, demonstrating its effectiveness in real-world applications.