MOA : Alignement Multi-Objectif pour les Agents de Jeu de Rôle
MOA: Multi-Objective Alignment for Role-Playing Agents
December 10, 2025
papers.authors: Chonghua Liao, Ke Wang, Yuchuan Wu, Fei Huang, Yongbin Li
cs.AI
papers.abstract
Les agents de jeu de rôle (RPA) doivent maîtriser simultanément de nombreuses compétences conflictuelles : suivre des instructions multi-tours, faire preuve de connaissances domaines et adopter un style linguistique cohérent. Les travaux existants reposent soit sur un fine-tuning supervisé (SFT) qui surajuste les indices superficiels et produit une faible diversité, soit sur l'apprentissage par renforcement (RL) qui échoue à apprendre les multiples dimensions nécessaires à l'optimisation complète des RPA. Nous présentons MOA (Alignement Multi-Objectifs), un cadre d'apprentissage par renforcement permettant l'optimisation multi-dimensionnelle et granulaire des rubriques pour les RPA généraux. MOA introduit une nouvelle stratégie d'optimisation multi-objectifs qui entraîne simultanément sur plusieurs rubriques granulaires pour améliorer les performances d'optimisation. Par ailleurs, pour résoudre les problèmes de diversité et de qualité des sorties du modèle, nous avons également employé un déploiement augmenté par raisonnement avec guidage hors politique. Des expériences approfondies sur des benchmarks exigeants comme PersonaGym et RoleMRC montrent que MOA permet à un modèle de 8B d'égaler voire de surpasser des bases de référence solides telles que GPT-4o et Claude sur de nombreuses dimensions. Cela démontre le grand potentiel de MOA pour construire des RPA capables de satisfaire simultanément aux exigences de connaissances du rôle, de style de personnage, de scénarios diversifiés et de conversations multi-tours complexes.
English
Role-playing agents (RPAs) must simultaneously master many conflicting skills -- following multi-turn instructions, exhibiting domain knowledge, and adopting a consistent linguistic style. Existing work either relies on supervised fine-tuning (SFT) that over-fits surface cues and yields low diversity, or applies reinforcement learning (RL) that fails to learn multiple dimensions for comprehensive RPA optimization. We present MOA (Multi-Objective Alignment), a reinforcement-learning framework that enables multi-dimensional, fine-grained rubric optimization for general RPAs. MOA introduces a novel multi-objective optimization strategy that trains simultaneously on multiple fine-grained rubrics to boost optimization performance. Besides, to address the issues of model output diversity and quality, we have also employed thought-augmented rollout with off-policy guidance. Extensive experiments on challenging benchmarks such as PersonaGym and RoleMRC show that MOA enables an 8B model to match or even outperform strong baselines such as GPT-4o and Claude across numerous dimensions. This demonstrates the great potential of MOA in building RPAs that can simultaneously meet the demands of role knowledge, persona style, diverse scenarios, and complex multi-turn conversations.