Sotopia-RL: Diseño de Recompensas para la Inteligencia Social

Sotopia-RL: Reward Design for Social Intelligence

August 5, 2025

Autores: Haofei Yu, Zhengyang Qi, Yining Zhao, Kolby Nottingham, Keyang Xuan, Bodhisattwa Prasad Majumder, Hao Zhu, Paul Pu Liang, Jiaxuan You

cs.AI

Resumen

La inteligencia social se ha convertido en una capacidad crítica para los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), permitiéndoles participar de manera efectiva en tareas sociales del mundo real, como la adaptación, la persuasión, la colaboración y la negociación. El aprendizaje por refuerzo (RL, por sus siglas en inglés) es una opción natural para entrenar agentes socialmente inteligentes, ya que permite que los modelos aprendan estrategias sofisticadas directamente a través de interacciones sociales. Sin embargo, las interacciones sociales tienen dos características clave que establecen barreras para el entrenamiento con RL: (1) la observabilidad parcial, donde las expresiones tienen efectos indirectos y retardados que complican la asignación de crédito, y (2) la multidimensionalidad, donde comportamientos como la construcción de rapport o la búsqueda de conocimiento contribuyen indirectamente al logro de objetivos. Estas características hacen que el RL basado en procesos de decisión de Markov (MDP, por sus siglas en inglés) con recompensas unidimensionales a nivel de episodio sea ineficiente e inestable. Para abordar estos desafíos, proponemos Sotopia-RL, un marco novedoso que refina la retroalimentación gruesa a nivel de episodio en recompensas a nivel de expresión y multidimensionales. La asignación de crédito a nivel de expresión mitiga la observabilidad parcial al atribuir resultados a expresiones individuales, mientras que las recompensas multidimensionales capturan la riqueza completa de las interacciones sociales y reducen el hackeo de recompensas. Los experimentos en Sotopia, un entorno de aprendizaje social de código abierto, demuestran que Sotopia-RL alcanza puntuaciones de última generación en la finalización de objetivos sociales (7.17 en Sotopia-hard y 8.31 en Sotopia-full), superando significativamente a los enfoques existentes. Los estudios de ablación confirman la necesidad tanto de la asignación de crédito a nivel de expresión como del diseño de recompensas multidimensionales para el entrenamiento con RL. Nuestra implementación está disponible públicamente en: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.