ChARM: Моделирование адаптивного к действиям вознаграждения на основе символов для продвинутых языковых агентов ролевых игр

ChARM: Character-based Act-adaptive Reward Modeling for Advanced Role-Playing Language Agents

May 29, 2025

Авторы: Feiteng Fang, Ting-En Lin, Yuchuan Wu, Xiong Liu, Xiang Huang, Dingwei Chen, Jing Ye, Haonan Zhang, Liang Zhu, Hamid Alinejad-Rokny, Min Yang, Fei Huang, Yongbin Li

cs.AI

Аннотация

Ролевые языковые агенты (RPLAs) направлены на моделирование персонажей для реалистичного и увлекательного взаимодействия человека с компьютером. Однако традиционные модели вознаграждения часто сталкиваются с проблемами масштабируемости и адаптации к субъективным предпочтениям в диалогах. Мы предлагаем ChARM, модель вознаграждения на основе персонажей с адаптацией к действиям, которая решает эти проблемы благодаря двум инновациям: (1) адаптивный порог, значительно повышающий эффективность обучения и обобщаемость, и (2) механизм саморазвития, использующий большие объемы немаркированных данных для улучшения охвата обучения. Кроме того, мы представляем RoleplayPref, первый крупномасштабный набор данных предпочтений, специально разработанный для RPLAs, включающий 1108 персонажей, 13 подкатегорий и 16 888 двуязычных диалогов, а также RoleplayEval, специализированный эталонный тест для оценки. Экспериментальные результаты показывают улучшение на 13% по сравнению с традиционной моделью Брэдли-Терри в ранжировании предпочтений. Более того, применение вознаграждений, сгенерированных ChARM, в методах обучения на основе предпочтений (например, оптимизация прямых предпочтений) позволяет достичь передовых результатов на тестах CharacterEval и RoleplayEval. Код и набор данных доступны по адресу https://github.com/calubkk/ChARM.

English

Role-Playing Language Agents (RPLAs) aim to simulate characters for realistic and engaging human-computer interactions. However, traditional reward models often struggle with scalability and adapting to subjective conversational preferences. We propose ChARM, a Character-based Act-adaptive Reward Model, addressing these challenges through two innovations: (1) an act-adaptive margin that significantly enhances learning efficiency and generalizability, and (2) a self-evolution mechanism leveraging large-scale unlabeled data to improve training coverage. Additionally, we introduce RoleplayPref, the first large-scale preference dataset specifically for RPLAs, featuring 1,108 characters, 13 subcategories, and 16,888 bilingual dialogues, alongside RoleplayEval, a dedicated evaluation benchmark. Experimental results show a 13% improvement over the conventional Bradley-Terry model in preference rankings. Furthermore, applying ChARM-generated rewards to preference learning techniques (e.g., direct preference optimization) achieves state-of-the-art results on CharacterEval and RoleplayEval. Code and dataset are available at https://github.com/calubkk/ChARM.