Valutazione basata sul Role-Playing per Modelli Linguistici di Grandi Dimensioni

Role-Playing Evaluation for Large Language Models

May 19, 2025

Autori: Yassine El Boudouri, Walter Nuninger, Julian Alvarez, Yvan Peter

cs.AI

Abstract

I Large Language Model (LLM) dimostrano una notevole capacità di adottare personaggi e di impegnarsi nel role-playing. Tuttavia, valutare questa abilità presenta sfide significative, poiché le valutazioni umane sono dispendiose in termini di risorse e le valutazioni automatizzate possono essere distorte. Per affrontare questo problema, introduciamo Role-Playing Eval (RPEval), un nuovo benchmark progettato per valutare le capacità di role-playing dei LLM lungo quattro dimensioni chiave: comprensione emotiva, processo decisionale, allineamento morale e coerenza nel personaggio. Questo articolo descrive la costruzione di RPEval e presenta valutazioni di base. Il nostro codice e il dataset sono disponibili all'indirizzo https://github.com/yelboudouri/RPEval.

English

Large Language Models (LLMs) demonstrate a notable capacity for adopting personas and engaging in role-playing. However, evaluating this ability presents significant challenges, as human assessments are resource-intensive and automated evaluations can be biased. To address this, we introduce Role-Playing Eval (RPEval), a novel benchmark designed to assess LLM role-playing capabilities across four key dimensions: emotional understanding, decision-making, moral alignment, and in-character consistency. This article details the construction of RPEval and presents baseline evaluations. Our code and dataset are available at https://github.com/yelboudouri/RPEval