MOA: Многоцелевое согласование для ролевых агентов
MOA: Multi-Objective Alignment for Role-Playing Agents
December 10, 2025
Авторы: Chonghua Liao, Ke Wang, Yuchuan Wu, Fei Huang, Yongbin Li
cs.AI
Аннотация
Агенты ролевых игр (RPA) должны одновременно овладевать множеством конфликтующих навыков — следовать многоходовым инструкциям, демонстрировать предметные знания и придерживаться последовательного лингвистического стиля. Существующие подходы либо полагаются на контролируемую тонкую настройку (SFT), которая переобучается поверхностным признакам и дает низкое разнообразие, либо применяют обучение с подкреплением (RL), которое не способно освоить множество измерений для комплексной оптимизации RPA. Мы представляем MOA (Multi-Objective Alignment, многокритериальное согласование) — фреймворк обучения с подкреплением, который обеспечивает многомерную, детализированную оптимизацию по рубрикам для общих RPA. MOA вводит новую стратегию многокритериальной оптимизации, которая одновременно обучает по множеству детализированных рубрик для повышения производительности оптимизации. Кроме того, для решения проблем разнообразия и качества выходных данных модели мы также применили расширенные развертки с мысленными рассуждениями и внеполитическое руководство. Многочисленные эксперименты на сложных бенчмарках, таких как PersonaGym и RoleMRC, показывают, что MOA позволяет модели объемом 8B соответствовать или даже превосходить сильные базовые уровни, такие как GPT-4o и Claude, по многочисленным измерениям. Это демонстрирует большой потенциал MOA в создании RPA, способных одновременно удовлетворять требованиям к знанию роли, стилю персонажа, разнообразным сценариям и сложным многоходовым диалогам.
English
Role-playing agents (RPAs) must simultaneously master many conflicting skills -- following multi-turn instructions, exhibiting domain knowledge, and adopting a consistent linguistic style. Existing work either relies on supervised fine-tuning (SFT) that over-fits surface cues and yields low diversity, or applies reinforcement learning (RL) that fails to learn multiple dimensions for comprehensive RPA optimization. We present MOA (Multi-Objective Alignment), a reinforcement-learning framework that enables multi-dimensional, fine-grained rubric optimization for general RPAs. MOA introduces a novel multi-objective optimization strategy that trains simultaneously on multiple fine-grained rubrics to boost optimization performance. Besides, to address the issues of model output diversity and quality, we have also employed thought-augmented rollout with off-policy guidance. Extensive experiments on challenging benchmarks such as PersonaGym and RoleMRC show that MOA enables an 8B model to match or even outperform strong baselines such as GPT-4o and Claude across numerous dimensions. This demonstrates the great potential of MOA in building RPAs that can simultaneously meet the demands of role knowledge, persona style, diverse scenarios, and complex multi-turn conversations.