Ψ-Bench: 설득 대화에서 페르소나에 민감한 영향력 평가

초록

개인화는 현대 언어 에이전트의 핵심 기능이다. 그러나 현재 연구는 주로 개인화된 에이전트를 사용자의 선호도에 수동적으로 반응하는 존재로 규정하여, 사용자와 상호작용하고 능동적으로 제안이나 지침을 제공하는 능력을 제한하고 있다. 이러한 능동적 개인화를 실제 상호작용에서 체계적으로 평가하기 위해, 우리는 Ψ-Bench를 제안한다. 이는 대화를 통해 LLM이 실제 사용자에게 영향을 미치는 능력을 평가하는 벤치마크이다. Ψ-Bench에는 설득을 포함하는 세 가지 실제 상호작용 시나리오를 설계하였으며, 대화 이력에서 추출한 명시적 사용자 프로필을 통해 시뮬레이션된 클라이언트에 개인적 특성을 부여하였다. 우리는 10개의 최첨단 LLM을 Ψ-Bench에서 평가한 결과, 대부분의 모델이 일관성 있고 합리적인 논증을 생성할 수 있지만, 최고 수준의 모델조차도 설득 측면에서 상당한 개선 여지가 남아 있음을 발견하였다. 또한, 클라이언트 프로필에 접근할 수 있는 경우 평균 성능이 18.24% 향상되어, 효과적인 설득을 위한 사용자 특이적 정보의 중요성이 강조되었다. 전반적으로, 본 연구는 개인정보에 민감한 영향력 행사를 더욱 능동적인 개인화된 LLM 에이전트를 평가하고 개발하기 위한 도전적이면서도 실용적인 방향으로 제시한다. 코드는 다음에서 확인할 수 있다: https://github.com/Hanpx20/Psi-Bench.

English

Personalization is a crucial capability of modern language agents. However, current research primarily positions personalized agents as passive responders to user preferences, limiting their ability to interact with users and provide suggestions or guidance proactively. To systematically evaluate such proactive personalization in realistic interactions, we propose Ψ-Bench, a benchmark for assessing LLMs' ability to influence realistic users through conversation. We design three real-world interaction scenarios that involve persuasion in Ψ-Bench, and endow simulated clients with personal characteristics through explicit user profiles derived from dialogue histories. We evaluate 10 frontier LLMs on Ψ-Bench and find that while most models can produce coherent and reasonable arguments, even state-of-the-art models still leave considerable room for improvement in persuasion. We also find that providing access to client profiles yields an average performance gain of 18.24\%, highlighting the importance of user-specific information for effective persuasion. Overall, our work highlights persona-sensitive influencing as a challenging yet practical direction for evaluating and developing more proactive personalized LLM agents. Codes are available at: https://github.com/Hanpx20/Psi-Bench.