CoSER: Coordinazione della simulazione della personalità basata su LLM di ruoli consolidati

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Autori: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Abstract

Gli agenti linguistici di gioco di ruolo (RPLA) sono emersi come applicazioni promettenti dei grandi modelli linguistici (LLM). Tuttavia, simulare personaggi consolidati rappresenta un compito impegnativo per i RPLA, a causa della mancanza di set di dati autentici sui personaggi e di metodi di valutazione sfumati che utilizzano tali dati. In questo articolo presentiamo CoSER, una raccolta di un dataset di alta qualità, modelli aperti e un protocollo di valutazione per efficaci RPLA di personaggi consolidati. Il dataset CoSER copre 17.966 personaggi tratti da 771 libri rinomati. Fornisce dialoghi autentici con complessità del mondo reale, nonché diversi tipi di dati come impostazioni di conversazione, esperienze dei personaggi e pensieri interni. Attingendo dalla metodologia dell'agire, introduciamo l'agire delle circostanze date per addestrare e valutare i LLM di gioco di ruolo, in cui i LLM ritraggono sequenzialmente più personaggi in scene di libri. Utilizzando il nostro dataset, sviluppiamo CoSER 8B e CoSER 70B, cioè avanzati LLM di gioco di ruolo aperti costruiti sui modelli LLaMA-3.1. Estesi esperimenti dimostrano il valore del dataset CoSER per l'addestramento, la valutazione e il recupero di RPLA. Inoltre, CoSER 70B mostra prestazioni all'avanguardia che superano o eguagliano GPT-4o nella nostra valutazione e in tre benchmark esistenti, ovvero raggiungendo rispettivamente il 75,80% e il 93,47% di accuratezza nei benchmark InCharacter e LifeChoice.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.