Ψ-Bench: Evaluatie van persona-gevoelige beïnvloeding in persuasieve dialogen

Samenvatting

Personalisatie is een cruciale capaciteit van moderne taalagenten. Echter, huidig onderzoek positioneert gepersonaliseerde agenten voornamelijk als passieve reageerders op gebruikersvoorkeuren, wat hun vermogen om met gebruikers te interageren en proactief suggesties of begeleiding te geven, beperkt. Om dergelijke proactieve personalisatie in realistische interacties systematisch te evalueren, stellen we Ψ-Bench voor, een benchmark voor het beoordelen van het vermogen van LLM's om realistische gebruikers te beïnvloeden door middel van conversatie. We ontwerpen drie realistische interactiescenario's die overtuigingskracht vereisen in Ψ-Bench, en voorzien gesimuleerde cliënten van persoonlijke kenmerken via expliciete gebruikersprofielen die zijn afgeleid van gespreksgeschiedenissen. We evalueren 10 geavanceerde LLM's op Ψ-Bench en ontdekken dat hoewel de meeste modellen coherente en redelijke argumenten kunnen produceren, zelfs de modernste modellen nog aanzienlijke ruimte voor verbetering in overtuigingskracht overlaten. We vinden ook dat het verlenen van toegang tot cliëntprofielen een gemiddelde prestatieverbetering van 18,24% oplevert, wat het belang van gebruikersspecifieke informatie voor effectieve overtuiging benadrukt. Over het geheel genomen benadrukt ons werk persoonsgevoelig beïnvloeden als een uitdagende maar praktische richting voor het evalueren en ontwikkelen van meer proactieve gepersonaliseerde LLM-agenten. De codes zijn beschikbaar op: https://github.com/Hanpx20/Psi-Bench.

English

Personalization is a crucial capability of modern language agents. However, current research primarily positions personalized agents as passive responders to user preferences, limiting their ability to interact with users and provide suggestions or guidance proactively. To systematically evaluate such proactive personalization in realistic interactions, we propose Ψ-Bench, a benchmark for assessing LLMs' ability to influence realistic users through conversation. We design three real-world interaction scenarios that involve persuasion in Ψ-Bench, and endow simulated clients with personal characteristics through explicit user profiles derived from dialogue histories. We evaluate 10 frontier LLMs on Ψ-Bench and find that while most models can produce coherent and reasonable arguments, even state-of-the-art models still leave considerable room for improvement in persuasion. We also find that providing access to client profiles yields an average performance gain of 18.24\%, highlighting the importance of user-specific information for effective persuasion. Overall, our work highlights persona-sensitive influencing as a challenging yet practical direction for evaluating and developing more proactive personalized LLM agents. Codes are available at: https://github.com/Hanpx20/Psi-Bench.