Sotopia-RL: Beloningsontwerp voor Sociale Intelligentie

Samenvatting

Sociale intelligentie is een cruciale vaardigheid geworden voor grote taalmmodellen (LLMs), waardoor ze effectief kunnen deelnemen aan real-world sociale taken zoals accommodatie, overtuiging, samenwerking en onderhandeling. Reinforcement learning (RL) is een natuurlijke keuze voor het trainen van sociaal intelligente agents, omdat het modellen in staat stelt om geavanceerde strategieën direct te leren via sociale interacties. Sociale interacties hebben echter twee belangrijke kenmerken die barrières vormen voor RL-training: (1) gedeeltelijke observeerbaarheid, waarbij uitingen indirecte en vertraagde effecten hebben die de toewijzing van credits bemoeilijken, en (2) multidimensioneelheid, waarbij gedragingen zoals het opbouwen van een band of het zoeken naar kennis indirect bijdragen aan het bereiken van doelen. Deze kenmerken maken RL gebaseerd op Markov-beslissingsprocessen (MDP) met eendimensionale beloningen op episodeniveau inefficiënt en instabiel. Om deze uitdagingen aan te pakken, stellen we Sotopia-RL voor, een nieuw framework dat grove feedback op episodeniveau verfijnt naar uiting-niveau, multidimensionale beloningen. Toewijzing van credits op uiting-niveau vermindert gedeeltelijke observeerbaarheid door uitkomsten toe te schrijven aan individuele uitingen, terwijl multidimensionale beloningen de volledige rijkdom van sociale interacties vastleggen en beloningsmanipulatie verminderen. Experimenten in Sotopia, een open-ended sociale leeromgeving, tonen aan dat Sotopia-RL state-of-the-art scores behaalt voor het voltooien van sociale doelen (7.17 op Sotopia-hard en 8.31 op Sotopia-full), wat aanzienlijk beter is dan bestaande benaderingen. Ablatiestudies bevestigen de noodzaak van zowel toewijzing van credits op uiting-niveau als het ontwerp van multidimensionale beloningen voor RL-training. Onze implementatie is publiekelijk beschikbaar op: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.

Sotopia-RL: Beloningsontwerp voor Sociale Intelligentie

Sotopia-RL: Reward Design for Social Intelligence

Samenvatting

Support