CoSER: Coördinatie van op LLM gebaseerde persona-simulatie van gevestigde rollen

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Auteurs: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Samenvatting

Rolspelende taalagenten (RPLA's) zijn naar voren gekomen als veelbelovende toepassingen van grote taalmodellen (LLM's). Het simuleren van gevestigde personages blijkt echter een uitdagende taak te zijn voor RPLA's, vanwege het gebrek aan authentieke karakterdatasets en genuanceerde evaluatiemethoden met behulp van dergelijke gegevens. In dit artikel presenteren we CoSER, een verzameling van een hoogwaardige dataset, open modellen en een evaluatieprotocol gericht op effectieve RPLA's van gevestigde personages. De CoSER-dataset omvat 17.966 personages uit 771 gerenommeerde boeken. Het biedt authentieke dialogen met realistische nuances, evenals diverse gegevenstypen zoals gespreksopstellingen, karakterervaringen en interne gedachten. Puttend uit acteermethodologie introduceren we gegeven-omstandigheid acteren voor het trainen en evalueren van rolspelende LLM's, waar LLM's opeenvolgend meerdere personages in boekscènes portretteren. Met behulp van onze dataset ontwikkelen we CoSER 8B en CoSER 70B, oftewel geavanceerde open rolspelende LLM's gebouwd op LLaMA-3.1 modellen. Uitgebreide experimenten tonen de waarde van de CoSER-dataset voor RPLA-training, evaluatie en ophalen. Bovendien vertoont CoSER 70B state-of-the-art prestaties die GPT-4o overtreffen of evenaren op onze evaluatie en drie bestaande benchmarks, namelijk het behalen van respectievelijk 75,80% en 93,47% nauwkeurigheid op de InCharacter en LifeChoice benchmarks.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.