Ψ-Bench: Evaluación de la Influencia Sensible a la Personalidad en Diálogos Persuasivos

Resumen

La personalización es una capacidad crucial de los agentes lingüísticos modernos. Sin embargo, la investigación actual posiciona principalmente a los agentes personalizados como respondedores pasivos a las preferencias del usuario, lo que limita su capacidad para interactuar con los usuarios y ofrecer sugerencias o guías de manera proactiva. Para evaluar sistemáticamente dicha personalización proactiva en interacciones realistas, proponemos **Ψ-Bench**, un punto de referencia para evaluar la capacidad de los LLM de influir en usuarios realistas a través de la conversación. Diseñamos tres escenarios de interacción del mundo real que implican persuasión en Ψ-Bench, y dotamos a los clientes simulados de características personales mediante perfiles de usuario explícitos derivados de historiales de diálogo. Evaluamos 10 modelos LLM de vanguardia en Ψ-Bench y encontramos que, si bien la mayoría de los modelos pueden producir argumentos coherentes y razonables, incluso los modelos más avanzados aún tienen un considerable margen de mejora en la persuasión. También observamos que proporcionar acceso a los perfiles de los clientes produce una ganancia de rendimiento promedio del 18.24%, lo que destaca la importancia de la información específica del usuario para una persuasión efectiva. En general, nuestro trabajo resalta la influencia sensible a la personalidad como una dirección desafiante pero práctica para evaluar y desarrollar agentes LLM personalizados más proactivos. Los códigos están disponibles en: https://github.com/Hanpx20/Psi-Bench.

English

Personalization is a crucial capability of modern language agents. However, current research primarily positions personalized agents as passive responders to user preferences, limiting their ability to interact with users and provide suggestions or guidance proactively. To systematically evaluate such proactive personalization in realistic interactions, we propose Ψ-Bench, a benchmark for assessing LLMs' ability to influence realistic users through conversation. We design three real-world interaction scenarios that involve persuasion in Ψ-Bench, and endow simulated clients with personal characteristics through explicit user profiles derived from dialogue histories. We evaluate 10 frontier LLMs on Ψ-Bench and find that while most models can produce coherent and reasonable arguments, even state-of-the-art models still leave considerable room for improvement in persuasion. We also find that providing access to client profiles yields an average performance gain of 18.24\%, highlighting the importance of user-specific information for effective persuasion. Overall, our work highlights persona-sensitive influencing as a challenging yet practical direction for evaluating and developing more proactive personalized LLM agents. Codes are available at: https://github.com/Hanpx20/Psi-Bench.