ChARM: Modelagem de Recompensa Adaptativa ao Ato Baseada em Caracteres para Agentes de Linguagem Avançados de Interpretação de Papéis

ChARM: Character-based Act-adaptive Reward Modeling for Advanced Role-Playing Language Agents

May 29, 2025

Autores: Feiteng Fang, Ting-En Lin, Yuchuan Wu, Xiong Liu, Xiang Huang, Dingwei Chen, Jing Ye, Haonan Zhang, Liang Zhu, Hamid Alinejad-Rokny, Min Yang, Fei Huang, Yongbin Li

cs.AI

Resumo

Agentes de Linguagem de Role-Playing (RPLAs) visam simular personagens para interações humano-computador realistas e envolventes. No entanto, os modelos de recompensa tradicionais frequentemente enfrentam desafios de escalabilidade e adaptação a preferências conversacionais subjetivas. Propomos o ChARM, um Modelo de Recompensa Adaptativo Baseado em Personagem, que aborda esses desafios por meio de duas inovações: (1) uma margem adaptativa que melhora significativamente a eficiência de aprendizado e a generalização, e (2) um mecanismo de auto-evolução que aproveita dados não rotulados em grande escala para melhorar a cobertura do treinamento. Além disso, introduzimos o RoleplayPref, o primeiro conjunto de dados de preferências em grande escala especificamente para RPLAs, contendo 1.108 personagens, 13 subcategorias e 16.888 diálogos bilíngues, juntamente com o RoleplayEval, um benchmark de avaliação dedicado. Os resultados experimentais mostram uma melhoria de 13% em relação ao modelo convencional de Bradley-Terry em rankings de preferência. Além disso, a aplicação de recompensas geradas pelo ChARM em técnicas de aprendizado de preferências (por exemplo, otimização direta de preferência) alcança resultados de ponta no CharacterEval e RoleplayEval. O código e o conjunto de dados estão disponíveis em https://github.com/calubkk/ChARM.

English

Role-Playing Language Agents (RPLAs) aim to simulate characters for realistic and engaging human-computer interactions. However, traditional reward models often struggle with scalability and adapting to subjective conversational preferences. We propose ChARM, a Character-based Act-adaptive Reward Model, addressing these challenges through two innovations: (1) an act-adaptive margin that significantly enhances learning efficiency and generalizability, and (2) a self-evolution mechanism leveraging large-scale unlabeled data to improve training coverage. Additionally, we introduce RoleplayPref, the first large-scale preference dataset specifically for RPLAs, featuring 1,108 characters, 13 subcategories, and 16,888 bilingual dialogues, alongside RoleplayEval, a dedicated evaluation benchmark. Experimental results show a 13% improvement over the conventional Bradley-Terry model in preference rankings. Furthermore, applying ChARM-generated rewards to preference learning techniques (e.g., direct preference optimization) achieves state-of-the-art results on CharacterEval and RoleplayEval. Code and dataset are available at https://github.com/calubkk/ChARM.