Conócete Primero y Sé Tú Mejor: Modelado de Simuladores de Usuario con Perfiles Implícitos de Manera Humana

Know You First and Be You Better: Modeling Human-Like User Simulators via Implicit Profiles

February 26, 2025

Autores: Kuang Wang, Xianfei Li, Shenghao Yang, Li Zhou, Feng Jiang, Haizhou Li

cs.AI

Resumen

Los simuladores de usuarios son cruciales para replicar las interacciones humanas con sistemas de diálogo, apoyando tanto el entrenamiento colaborativo como la evaluación automática, especialmente para los modelos de lenguaje de gran escala (LLMs). Sin embargo, los simuladores existentes a menudo dependen únicamente de enunciados de texto, omitiendo rasgos implícitos del usuario como la personalidad, el estilo de habla y los objetivos. En contraste, los métodos basados en personajes carecen de generalización, ya que dependen de perfiles predefinidos de individuos famosos o arquetipos. Para abordar estos desafíos, proponemos el Simulador de Usuario con Perfiles Implícitos (USP), un marco que infiere perfiles implícitos de usuario a partir de conversaciones humano-máquina y los utiliza para generar diálogos más personalizados y realistas. Primero desarrollamos un extractor impulsado por LLM con un esquema de perfil completo. Luego, refinamos la simulación mediante ajuste fino supervisado condicional y aprendizaje por refuerzo con consistencia cíclica, optimizándola tanto a nivel de enunciado como de conversación. Finalmente, adoptamos un muestreador de perfiles diverso para capturar la distribución de perfiles de usuarios del mundo real. Los resultados experimentales demuestran que USP supera a las líneas base fuertes en términos de autenticidad y diversidad, al tiempo que logra un rendimiento comparable en consistencia. Además, las evaluaciones dinámicas de múltiples turnos basadas en USP se alinean fuertemente con los puntos de referencia principales, demostrando su eficacia en aplicaciones del mundo real.

English

User simulators are crucial for replicating human interactions with dialogue systems, supporting both collaborative training and automatic evaluation, especially for large language models (LLMs). However, existing simulators often rely solely on text utterances, missing implicit user traits such as personality, speaking style, and goals. In contrast, persona-based methods lack generalizability, as they depend on predefined profiles of famous individuals or archetypes. To address these challenges, we propose User Simulator with implicit Profiles (USP), a framework that infers implicit user profiles from human-machine conversations and uses them to generate more personalized and realistic dialogues. We first develop an LLM-driven extractor with a comprehensive profile schema. Then, we refine the simulation through conditional supervised fine-tuning and reinforcement learning with cycle consistency, optimizing it at both the utterance and conversation levels. Finally, we adopt a diverse profile sampler to capture the distribution of real-world user profiles. Experimental results demonstrate that USP outperforms strong baselines in terms of authenticity and diversity while achieving comparable performance in consistency. Furthermore, dynamic multi-turn evaluations based on USP strongly align with mainstream benchmarks, demonstrating its effectiveness in real-world applications.