MOA: Alineación Multiobjetivo para Agentes de Rol
MOA: Multi-Objective Alignment for Role-Playing Agents
December 10, 2025
Autores: Chonghua Liao, Ke Wang, Yuchuan Wu, Fei Huang, Yongbin Li
cs.AI
Resumen
Los agentes de rol (RPA) deben dominar simultáneamente múltiples habilidades conflictivas: seguir instrucciones multiturno, exhibir conocimiento de dominio y adoptar un estilo lingüístico coherente. Los trabajos existentes dependen de ajuste fino supervisado (SFT) que se sobreajusta a indicios superficiales y produce baja diversidad, o aplican aprendizaje por refuerzo (RL) que no logra aprender múltiples dimensiones para una optimización integral de RPA. Presentamos MOA (Alineación Multi-Objetivo), un marco de aprendizaje por refuerzo que permite la optimización multidimensional y granular de rúbricas para RPAs generales. MOA introduce una novedosa estrategia de optimización multi-objetivo que entrena simultáneamente en múltiples rúbricas granulares para impulsar el rendimiento de optimización. Adicionalmente, para abordar los problemas de diversidad y calidad de la salida del modelo, hemos empleado despliegue aumentado con razonamiento y guía fuera de política. Experimentos exhaustivos en benchmarks desafiantes como PersonaGym y RoleMRC muestran que MOA permite que un modelo de 8B iguale o incluso supere a líneas base fuertes como GPT-4o y Claude en numerosas dimensiones. Esto demuestra el gran potencial de MOA para construir RPAs que puedan satisfacer simultáneamente las demandas de conocimiento del rol, estilo de personaje, escenarios diversos y conversaciones multiturno complejas.
English
Role-playing agents (RPAs) must simultaneously master many conflicting skills -- following multi-turn instructions, exhibiting domain knowledge, and adopting a consistent linguistic style. Existing work either relies on supervised fine-tuning (SFT) that over-fits surface cues and yields low diversity, or applies reinforcement learning (RL) that fails to learn multiple dimensions for comprehensive RPA optimization. We present MOA (Multi-Objective Alignment), a reinforcement-learning framework that enables multi-dimensional, fine-grained rubric optimization for general RPAs. MOA introduces a novel multi-objective optimization strategy that trains simultaneously on multiple fine-grained rubrics to boost optimization performance. Besides, to address the issues of model output diversity and quality, we have also employed thought-augmented rollout with off-policy guidance. Extensive experiments on challenging benchmarks such as PersonaGym and RoleMRC show that MOA enables an 8B model to match or even outperform strong baselines such as GPT-4o and Claude across numerous dimensions. This demonstrates the great potential of MOA in building RPAs that can simultaneously meet the demands of role knowledge, persona style, diverse scenarios, and complex multi-turn conversations.