ChARM: Modellazione Adattiva delle Ricompense basata sui Caratteri per Agenti Linguistici di Ruolo Avanzati

ChARM: Character-based Act-adaptive Reward Modeling for Advanced Role-Playing Language Agents

May 29, 2025

Autori: Feiteng Fang, Ting-En Lin, Yuchuan Wu, Xiong Liu, Xiang Huang, Dingwei Chen, Jing Ye, Haonan Zhang, Liang Zhu, Hamid Alinejad-Rokny, Min Yang, Fei Huang, Yongbin Li

cs.AI

Abstract

I Language Agents per il Role-Playing (RPLAs) mirano a simulare personaggi per interazioni uomo-computer realistiche e coinvolgenti. Tuttavia, i tradizionali modelli di ricompensa spesso incontrano difficoltà nella scalabilità e nell'adattamento alle preferenze conversazionali soggettive. Proponiamo ChARM, un Modello di Ricompensa Adattivo basato sul Personaggio, che affronta queste sfide attraverso due innovazioni: (1) un margine adattivo agli atti che migliora significativamente l'efficienza di apprendimento e la generalizzabilità, e (2) un meccanismo di auto-evoluzione che sfrutta dati non etichettati su larga scala per migliorare la copertura dell'addestramento. Inoltre, introduciamo RoleplayPref, il primo dataset su larga scala di preferenze specifico per RPLAs, che include 1.108 personaggi, 13 sottocategorie e 16.888 dialoghi bilingue, insieme a RoleplayEval, un benchmark di valutazione dedicato. I risultati sperimentali mostrano un miglioramento del 13% rispetto al modello convenzionale di Bradley-Terry nei ranking di preferenza. Inoltre, l'applicazione delle ricompense generate da ChARM alle tecniche di apprendimento delle preferenze (ad esempio, l'ottimizzazione diretta delle preferenze) raggiunge risultati all'avanguardia su CharacterEval e RoleplayEval. Codice e dataset sono disponibili su https://github.com/calubkk/ChARM.

English

Role-Playing Language Agents (RPLAs) aim to simulate characters for realistic and engaging human-computer interactions. However, traditional reward models often struggle with scalability and adapting to subjective conversational preferences. We propose ChARM, a Character-based Act-adaptive Reward Model, addressing these challenges through two innovations: (1) an act-adaptive margin that significantly enhances learning efficiency and generalizability, and (2) a self-evolution mechanism leveraging large-scale unlabeled data to improve training coverage. Additionally, we introduce RoleplayPref, the first large-scale preference dataset specifically for RPLAs, featuring 1,108 characters, 13 subcategories, and 16,888 bilingual dialogues, alongside RoleplayEval, a dedicated evaluation benchmark. Experimental results show a 13% improvement over the conventional Bradley-Terry model in preference rankings. Furthermore, applying ChARM-generated rewards to preference learning techniques (e.g., direct preference optimization) achieves state-of-the-art results on CharacterEval and RoleplayEval. Code and dataset are available at https://github.com/calubkk/ChARM.