MOA: Multi-Objective Alignment für Rollenspiel-Agenten
MOA: Multi-Objective Alignment for Role-Playing Agents
December 10, 2025
papers.authors: Chonghua Liao, Ke Wang, Yuchuan Wu, Fei Huang, Yongbin Li
cs.AI
papers.abstract
Rollenspiel-Agenten (RPAs) müssen gleichzeitig viele widersprüchliche Fähigkeiten beherrschen – das Befolgen mehrschrittiger Anweisungen, das Demonstrieren von Domänenwissen und das Einhalten eines konsistenten linguistischen Stils. Bisherige Ansätze setzen entweder auf überwachtes Feintuning (SFT), das Oberflächenmerkmale überanpasst und eine geringe Diversität erzeugt, oder verwenden Reinforcement Learning (RL), das scheitert, mehrere Dimensionen für eine umfassende RPA-Optimierung zu erlernen. Wir stellen MOA (Multi-Objective Alignment) vor, ein Reinforcement-Learning-Framework, das eine mehrdimensionale, feingranulare Optimierung anhand von Bewertungskriterien für allgemeine RPAs ermöglicht. MOA führt eine neuartige Multi-Objective-Optimierungsstrategie ein, die gleichzeitig auf mehreren feingranularen Bewertungskriterien trainiert, um die Optimierungsleistung zu steigern. Zudem haben wir, um die Probleme der Modellausgabediversität und -qualität anzugehen, einen gedankengestützten Rollout mit Off-Policy-Steuerung implementiert. Umfangreiche Experimente auf anspruchsvollen Benchmarks wie PersonaGym und RoleMRC zeigen, dass MOA einem 8B-Modell ermöglicht, starke Baseline-Modelle wie GPT-4o und Claude in zahlreichen Dimensionen zu erreichen oder sogar zu übertreffen. Dies demonstriert das große Potenzial von MOA für die Entwicklung von RPAs, die gleichzeitig den Anforderungen an Rollenwissen, Personenstil, diverse Szenarien und komplexe mehrschrittige Konversationen gerecht werden können.
English
Role-playing agents (RPAs) must simultaneously master many conflicting skills -- following multi-turn instructions, exhibiting domain knowledge, and adopting a consistent linguistic style. Existing work either relies on supervised fine-tuning (SFT) that over-fits surface cues and yields low diversity, or applies reinforcement learning (RL) that fails to learn multiple dimensions for comprehensive RPA optimization. We present MOA (Multi-Objective Alignment), a reinforcement-learning framework that enables multi-dimensional, fine-grained rubric optimization for general RPAs. MOA introduces a novel multi-objective optimization strategy that trains simultaneously on multiple fine-grained rubrics to boost optimization performance. Besides, to address the issues of model output diversity and quality, we have also employed thought-augmented rollout with off-policy guidance. Extensive experiments on challenging benchmarks such as PersonaGym and RoleMRC show that MOA enables an 8B model to match or even outperform strong baselines such as GPT-4o and Claude across numerous dimensions. This demonstrates the great potential of MOA in building RPAs that can simultaneously meet the demands of role knowledge, persona style, diverse scenarios, and complex multi-turn conversations.