Sotopia-RL: Progettazione delle Ricompense per l'Intelligenza Sociale

Abstract

L'intelligenza sociale è diventata una capacità cruciale per i grandi modelli linguistici (LLM), consentendo loro di impegnarsi efficacemente in compiti sociali del mondo reale come l'adattamento, la persuasione, la collaborazione e la negoziazione. L'apprendimento per rinforzo (RL) si presta naturalmente all'addestramento di agenti socialmente intelligenti, poiché permette ai modelli di apprendere strategie sofisticate direttamente attraverso interazioni sociali. Tuttavia, le interazioni sociali presentano due caratteristiche chiave che pongono ostacoli all'addestramento RL: (1) l'osservabilità parziale, in cui le espressioni hanno effetti indiretti e ritardati che complicano l'assegnazione del merito, e (2) la multidimensionalità, in cui comportamenti come la costruzione di un rapporto o la ricerca di conoscenza contribuiscono indirettamente al raggiungimento degli obiettivi. Queste caratteristiche rendono inefficiente e instabile l'RL basato su processi decisionali di Markov (MDP) con ricompense a livello di episodio monodimensionali. Per affrontare queste sfide, proponiamo Sotopia-RL, un framework innovativo che affina il feedback grezzo a livello di episodio in ricompense a livello di espressione, multidimensionali. L'assegnazione del merito a livello di espressione mitiga l'osservabilità parziale attribuendo i risultati a singole espressioni, mentre le ricompense multidimensionali catturano tutta la ricchezza delle interazioni sociali e riducono il fenomeno del "reward hacking". Esperimenti condotti in Sotopia, un ambiente di apprendimento sociale aperto, dimostrano che Sotopia-RL raggiunge punteggi di completamento degli obiettivi sociali all'avanguardia (7,17 su Sotopia-hard e 8,31 su Sotopia-full), superando significativamente gli approcci esistenti. Studi di ablazione confermano la necessità sia dell'assegnazione del merito a livello di espressione che del design delle ricompense multidimensionali per l'addestramento RL. La nostra implementazione è pubblicamente disponibile all'indirizzo: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.

Sotopia-RL: Progettazione delle Ricompense per l'Intelligenza Sociale

Sotopia-RL: Reward Design for Social Intelligence

Abstract

Support