CoSER : Coordination de la simulation de personnalité basée sur LLM de rôles établis

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Auteurs: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Résumé

Les agents de langage de jeu de rôle (RPLA) ont émergé comme des applications prometteuses des grands modèles de langage (LLM). Cependant, la simulation de personnages établis représente une tâche difficile pour les RPLA, en raison du manque de jeux de données de personnages authentiques et de méthodes d'évaluation nuancées utilisant de telles données. Dans cet article, nous présentons CoSER, une collection d'un jeu de données de haute qualité, de modèles ouverts et d'un protocole d'évaluation pour des RPLA efficaces de personnages établis. Le jeu de données CoSER couvre 17 966 personnages issus de 771 livres renommés. Il fournit des dialogues authentiques avec des subtilités du monde réel, ainsi que divers types de données tels que des mises en place de conversations, des expériences de personnages et des pensées internes. S'inspirant de la méthodologie de l'acting, nous introduisons l'acting de circonstances données pour l'entraînement et l'évaluation des LLM de jeu de rôle, où les LLM dépeignent séquentiellement plusieurs personnages dans des scènes de livre. En utilisant notre jeu de données, nous développons CoSER 8B et CoSER 70B, c'est-à-dire des LLM de jeu de rôle ouverts avancés construits sur les modèles LLaMA-3.1. Des expériences approfondies démontrent la valeur du jeu de données CoSER pour l'entraînement, l'évaluation et la récupération des RPLA. De plus, CoSER 70B présente des performances de pointe dépassant ou égalant GPT-4o sur notre évaluation et trois benchmarks existants, c'est-à-dire atteignant respectivement 75,80 % et 93,47 % de précision sur les benchmarks InCharacter et LifeChoice.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.