CoSER: Koordination der auf LLM basierenden Persona-Simulation etablierter Rollen

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Autoren: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Zusammenfassung

Rollen-spielende Sprachagenten (RPLAs) haben sich als vielversprechende Anwendungen großer Sprachmodelle (LLMs) herausgestellt. Die Simulation etablierter Charaktere stellt jedoch eine herausfordernde Aufgabe für RPLAs dar, aufgrund des Mangels an authentischen Charakterdatensätzen und nuancierten Evaluierungsmethoden unter Verwendung solcher Daten. In diesem Artikel präsentieren wir CoSER, eine Sammlung eines hochwertigen Datensatzes, offener Modelle und eines Evaluierungsprotokolls zur effektiven Umsetzung von RPLAs etablierter Charaktere. Der CoSER-Datensatz umfasst 17.966 Charaktere aus 771 renommierten Büchern. Er bietet authentische Dialoge mit realen Feinheiten sowie verschiedene Datentypen wie Gesprächssituationen, Charaktererfahrungen und innere Gedanken. Unter Verwendung von Schauspielmethoden führen wir das Konzept des Umstandsspielens ein, um RPLAs zu trainieren und zu evaluieren, bei dem LLMs sequenziell mehrere Charaktere in Buchszenen darstellen. Unter Verwendung unseres Datensatzes entwickeln wir CoSER 8B und CoSER 70B, d. h. fortschrittliche offene Rollenspiel-LLMs, die auf LLaMA-3.1-Modellen aufbauen. Umfangreiche Experimente zeigen den Wert des CoSER-Datensatzes für das Training, die Evaluierung und den Abruf von RPLAs. Darüber hinaus zeigt CoSER 70B eine Spitzenleistung, die die von GPT-4o in unserer Evaluierung und drei bestehenden Benchmarks übertrifft oder erreicht, d. h. eine Genauigkeit von 75,80 % bzw. 93,47 % bei den Benchmarks InCharacter und LifeChoice.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.