Sotopia-RL: Belohnungsdesign für soziale Intelligenz

papers.abstract

Soziale Intelligenz ist zu einer entscheidenden Fähigkeit für große Sprachmodelle (LLMs) geworden, die es ihnen ermöglicht, effektiv an realen sozialen Aufgaben wie Anpassung, Überzeugung, Zusammenarbeit und Verhandlung teilzunehmen. Reinforcement Learning (RL) eignet sich natürlich für das Training sozial intelligenter Agenten, da es Modellen ermöglicht, komplexe Strategien direkt durch soziale Interaktionen zu erlernen. Soziale Interaktionen weisen jedoch zwei Schlüsselmerkmale auf, die Barrieren für das RL-Training darstellen: (1) Partielle Beobachtbarkeit, bei der Äußerungen indirekte und verzögerte Effekte haben, was die Kreditvergabe erschwert, und (2) Mehrdimensionalität, bei der Verhaltensweisen wie Beziehungsaufbau oder Wissenssuche indirekt zur Zielerreichung beitragen. Diese Merkmale machen RL auf Basis von Markov-Entscheidungsprozessen (MDP) mit eindimensionalen Belohnungen auf Episodebene ineffizient und instabil. Um diese Herausforderungen zu bewältigen, schlagen wir Sotopia-RL vor, ein neuartiges Framework, das grobes Feedback auf Episodebene in Äußerungsbezogene, mehrdimensionale Belohnungen verfeinert. Die Kreditvergabe auf Äußerungsebene mildert die partielle Beobachtbarkeit, indem sie Ergebnisse einzelnen Äußerungen zuschreibt, während mehrdimensionale Belohnungen die volle Komplexität sozialer Interaktionen erfassen und Belohnungsmanipulation reduzieren. Experimente in Sotopia, einer offenen sozialen Lernumgebung, zeigen, dass Sotopia-RL state-of-the-art Ergebnisse bei der Erreichung sozialer Ziele erzielt (7,17 bei Sotopia-hard und 8,31 bei Sotopia-full) und bestehende Ansätze deutlich übertrifft. Ablationsstudien bestätigen die Notwendigkeit sowohl der Kreditvergabe auf Äußerungsebene als auch des mehrdimensionalen Belohnungsdesigns für das RL-Training. Unsere Implementierung ist öffentlich verfügbar unter: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.

Sotopia-RL: Belohnungsdesign für soziale Intelligenz

Sotopia-RL: Reward Design for Social Intelligence

papers.abstract

Support