ChatPaper.aiChatPaper

大規模言語モデルのためのロールプレイング評価

Role-Playing Evaluation for Large Language Models

May 19, 2025
著者: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter
cs.AI

要旨

大規模言語モデル(LLMs)は、人物像を採用し、ロールプレイに参加する能力において顕著な性能を示します。しかし、この能力を評価することは大きな課題を伴います。人間による評価はリソースを要し、自動化された評価は偏りが生じる可能性があるためです。この問題に対処するため、我々はRole-Playing Eval(RPEval)という新しいベンチマークを導入しました。RPEvalは、感情理解、意思決定、道徳的整合性、キャラクター一貫性という4つの主要な次元にわたってLLMのロールプレイ能力を評価するように設計されています。本稿では、RPEvalの構築について詳細に説明し、ベースライン評価を提示します。コードとデータセットはhttps://github.com/yelboudouri/RPEvalで公開されています。
English
Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval
PDF72June 2, 2025