CoSER: Координация симуляции персоны на основе LLM установленных ролей

CoSER: Coordinating LLM-Based Persona Simulation of Established Roles

February 13, 2025

Авторы: Xintao Wang, Heng Wang, Yifei Zhang, Xinfeng Yuan, Rui Xu, Jen-tse Huang, Siyu Yuan, Haoran Guo, Jiangjie Chen, Wei Wang, Yanghua Xiao, Shuchang Zhou

cs.AI

Аннотация

Агенты, имитирующие язык (RPLA), стали перспективными приложениями для больших языковых моделей (LLM). Однако моделирование установленных персонажей представляет собой сложную задачу для RPLA из-за отсутствия аутентичных наборов данных о персонажах и тонких методов оценки с использованием таких данных. В данной статье мы представляем CoSER, коллекцию высококачественного набора данных, открытых моделей и протокола оценки для эффективных RPLA установленных персонажей. Набор данных CoSER охватывает 17 966 персонажей из 771 известной книги. Он предоставляет аутентичные диалоги с реальными тонкостями мира, а также разнообразные типы данных, такие как настройки беседы, переживания персонажей и внутренние мысли. Изучая методы актерского мастерства, мы представляем актёрское моделирование по обстоятельствам для обучения и оценки агентов RPLA, где LLM последовательно изображают несколько персонажей в сценах книг. Используя наш набор данных, мы разрабатываем CoSER 8B и CoSER 70B, т.е. передовые открытые агенты RPLA, построенные на моделях LLaMA-3.1. Обширные эксперименты демонстрируют ценность набора данных CoSER для обучения, оценки и поиска RPLA. Более того, CoSER 70B демонстрирует современные достижения, превосходящие или соответствующие GPT-4o в нашей оценке и трех существующих бенчмарках, т.е. достигая 75,80% и 93,47% точности на бенчмарках InCharacter и LifeChoice соответственно.

English

Role-playing language agents (RPLAs) have emerged as promising applications of large language models (LLMs). However, simulating established characters presents a challenging task for RPLAs, due to the lack of authentic character datasets and nuanced evaluation methods using such data. In this paper, we present CoSER, a collection of a high-quality dataset, open models, and an evaluation protocol towards effective RPLAs of established characters. The CoSER dataset covers 17,966 characters from 771 renowned books. It provides authentic dialogues with real-world intricacies, as well as diverse data types such as conversation setups, character experiences and internal thoughts. Drawing from acting methodology, we introduce given-circumstance acting for training and evaluating role-playing LLMs, where LLMs sequentially portray multiple characters in book scenes. Using our dataset, we develop CoSER 8B and CoSER 70B, i.e., advanced open role-playing LLMs built on LLaMA-3.1 models. Extensive experiments demonstrate the value of the CoSER dataset for RPLA training, evaluation and retrieval. Moreover, CoSER 70B exhibits state-of-the-art performance surpassing or matching GPT-4o on our evaluation and three existing benchmarks, i.e., achieving 75.80% and 93.47% accuracy on the InCharacter and LifeChoice benchmarks respectively.