Ролевая оценка для крупных языковых моделей
Role-Playing Evaluation for Large Language Models
May 19, 2025
Авторы: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter
cs.AI
Аннотация
Крупные языковые модели (LLMs) демонстрируют заметную способность принимать персонажей и участвовать в ролевых играх. Однако оценка этой способности представляет значительные трудности, так как человеческие оценки требуют больших ресурсов, а автоматизированные оценки могут быть предвзятыми. Для решения этой проблемы мы представляем Role-Playing Eval (RPEval) — новый эталонный тест, разработанный для оценки способностей LLM к ролевым играм по четырём ключевым аспектам: эмоциональное понимание, принятие решений, моральная согласованность и последовательность в рамках персонажа. В данной статье подробно описывается создание RPEval и приводятся базовые оценки. Наш код и набор данных доступны по адресу https://github.com/yelboudouri/RPEval.
English
Large Language Models (LLMs) demonstrate a notable capacity for adopting
personas and engaging in role-playing. However, evaluating this ability
presents significant challenges, as human assessments are resource-intensive
and automated evaluations can be biased. To address this, we introduce
Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM
role-playing capabilities across four key dimensions: emotional understanding,
decision-making, moral alignment, and in-character consistency. This article
details the construction of RPEval and presents baseline evaluations. Our code
and dataset are available at https://github.com/yelboudouri/RPEval