CoSER: Coordenação da Simulação de Personas Baseada em LLM de Papéis Estabelecidos

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Autores: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Resumo

Os agentes de linguagem de interpretação de papéis (ALIPs) surgiram como aplicações promissoras de grandes modelos de linguagem (GMLs). No entanto, simular personagens estabelecidos apresenta uma tarefa desafiadora para ALIPs, devido à falta de conjuntos de dados de personagens autênticos e métodos de avaliação sutis usando tais dados. Neste artigo, apresentamos CoSER, uma coleção de um conjunto de dados de alta qualidade, modelos abertos e um protocolo de avaliação para ALIPs eficazes de personagens estabelecidos. O conjunto de dados CoSER abrange 17.966 personagens de 771 livros renomados. Ele fornece diálogos autênticos com complexidades do mundo real, bem como diversos tipos de dados, como configurações de conversa, experiências de personagens e pensamentos internos. Inspirados na metodologia de atuação, introduzimos a atuação de circunstâncias dadas para treinar e avaliar ALIPs de interpretação de papéis, onde os GMLs retratam sequencialmente vários personagens em cenas de livros. Usando nosso conjunto de dados, desenvolvemos CoSER 8B e CoSER 70B, ou seja, GMLs de interpretação de papéis abertos avançados construídos nos modelos LLaMA-3.1. Experimentos extensivos demonstram o valor do conjunto de dados CoSER para treinamento, avaliação e recuperação de ALIPs. Além disso, o CoSER 70B exibe desempenho de ponta superando ou igualando o GPT-4o em nossa avaliação e em três benchmarks existentes, ou seja, alcançando 75,80% e 93,47% de precisão nos benchmarks InCharacter e LifeChoice, respectivamente.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.