CoSER: Coordinación de la Simulación de Personas Basada en LLM de Roles Establecidos

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Autores: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Resumen

Los agentes de lenguaje de simulación de roles (RPLAs) han surgido como aplicaciones prometedoras de modelos de lenguaje grandes (LLMs). Sin embargo, la simulación de personajes establecidos presenta una tarea desafiante para los RPLAs, debido a la falta de conjuntos de datos de personajes auténticos y métodos de evaluación matizados que utilicen dichos datos. En este documento, presentamos CoSER, una colección de un conjunto de datos de alta calidad, modelos abiertos y un protocolo de evaluación hacia RPLAs efectivos de personajes establecidos. El conjunto de datos de CoSER abarca 17,966 personajes de 771 libros reconocidos. Proporciona diálogos auténticos con complejidades del mundo real, así como diversos tipos de datos como configuraciones de conversación, experiencias de personajes y pensamientos internos. Inspirados en la metodología de actuación, introducimos la actuación de circunstancias dadas para el entrenamiento y la evaluación de LLMs de simulación de roles, donde los LLMs representan secuencialmente múltiples personajes en escenas de libros. Utilizando nuestro conjunto de datos, desarrollamos CoSER 8B y CoSER 70B, es decir, LLMs de simulación de roles abiertos avanzados construidos sobre los modelos LLaMA-3.1. Experimentos extensos demuestran el valor del conjunto de datos de CoSER para el entrenamiento, la evaluación y la recuperación de RPLA. Además, CoSER 70B exhibe un rendimiento de vanguardia superando o igualando a GPT-4o en nuestra evaluación y tres bancos de pruebas existentes, es decir, logrando un 75.80% y un 93.47% de precisión en los bancos de pruebas InCharacter y LifeChoice respectivamente.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.