Avaliação por Interpretação de Papéis para Modelos de Linguagem de Grande Escala

Role-Playing Evaluation for Large Language Models

May 19, 2025

Autores: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter

cs.AI

Resumo

Os Grandes Modelos de Linguagem (LLMs) demonstram uma capacidade notável de adotar personas e se envolver em role-playing. No entanto, avaliar essa habilidade apresenta desafios significativos, uma vez que as avaliações humanas são intensivas em recursos e as avaliações automatizadas podem ser tendenciosas. Para abordar essa questão, introduzimos o Role-Playing Eval (RPEval), um novo benchmark projetado para avaliar as capacidades de role-playing dos LLMs em quatro dimensões principais: compreensão emocional, tomada de decisão, alinhamento moral e consistência no personagem. Este artigo detalha a construção do RPEval e apresenta avaliações de linha de base. Nosso código e conjunto de dados estão disponíveis em https://github.com/yelboudouri/RPEval.

English

Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval