ChARM: 고급 롤플레잉 언어 에이전트를 위한 문자 기반 행위 적응형 보상 모델링

초록

역할극 언어 에이전트(RPLAs)는 현실적이고 매력적인 인간-컴퓨터 상호작용을 위해 캐릭터를 시뮬레이션하는 것을 목표로 합니다. 그러나 기존의 보상 모델은 확장성과 주관적인 대화 선호도에 적응하는 데 어려움을 겪는 경우가 많습니다. 본 연구에서는 이러한 문제를 해결하기 위해 ChARM(Character-based Act-adaptive Reward Model)을 제안합니다. ChARM은 두 가지 혁신을 통해 이러한 과제를 해결합니다: (1) 학습 효율성과 일반화 능력을 크게 향상시키는 행위 적응형 마진, 그리고 (2) 대규모의 레이블이 없는 데이터를 활용하여 훈련 범위를 개선하는 자기 진화 메커니즘. 또한, RPLAs를 위해 특별히 설계된 첫 번째 대규모 선호도 데이터셋인 RoleplayPref를 소개합니다. 이 데이터셋은 1,108개의 캐릭터, 13개의 하위 범주, 그리고 16,888개의 이중 언어 대화로 구성되어 있으며, 전용 평가 벤치마크인 RoleplayEval도 함께 제공됩니다. 실험 결과는 기존의 Bradley-Terry 모델 대비 선호도 순위에서 13%의 개선을 보여줍니다. 또한, ChARM에서 생성된 보상을 선호도 학습 기술(예: 직접 선호도 최적화)에 적용하면 CharacterEval과 RoleplayEval에서 최첨단 성능을 달성합니다. 코드와 데이터셋은 https://github.com/calubkk/ChARM에서 확인할 수 있습니다.

English

Role-Playing Language Agents (RPLAs) aim to simulate characters for realistic and engaging human-computer interactions. However, traditional reward models often struggle with scalability and adapting to subjective conversational preferences. We propose ChARM, a Character-based Act-adaptive Reward Model, addressing these challenges through two innovations: (1) an act-adaptive margin that significantly enhances learning efficiency and generalizability, and (2) a self-evolution mechanism leveraging large-scale unlabeled data to improve training coverage. Additionally, we introduce RoleplayPref, the first large-scale preference dataset specifically for RPLAs, featuring 1,108 characters, 13 subcategories, and 16,888 bilingual dialogues, alongside RoleplayEval, a dedicated evaluation benchmark. Experimental results show a 13% improvement over the conventional Bradley-Terry model in preference rankings. Furthermore, applying ChARM-generated rewards to preference learning techniques (e.g., direct preference optimization) achieves state-of-the-art results on CharacterEval and RoleplayEval. Code and dataset are available at https://github.com/calubkk/ChARM.

ChARM: 고급 롤플레잉 언어 에이전트를 위한 문자 기반 행위 적응형 보상 모델링

ChARM: Character-based Act-adaptive Reward Modeling for Advanced Role-Playing Language Agents

초록

Support