Sotopia-RL: Projeto de Recompensa para Inteligência Social

Resumo

A inteligência social tornou-se uma capacidade crítica para grandes modelos de linguagem (LLMs), permitindo que eles se envolvam efetivamente em tarefas sociais do mundo real, como acomodação, persuasão, colaboração e negociação. O aprendizado por reforço (RL) é uma abordagem natural para treinar agentes socialmente inteligentes, pois permite que os modelos aprendam estratégias sofisticadas diretamente por meio de interações sociais. No entanto, as interações sociais têm duas características principais que impõem barreiras ao treinamento de RL: (1) observabilidade parcial, onde as declarações têm efeitos indiretos e atrasados que complicam a atribuição de crédito, e (2) multidimensionalidade, onde comportamentos como a construção de rapport ou a busca por conhecimento contribuem indiretamente para o alcance de objetivos. Essas características tornam o RL baseado em processos de decisão de Markov (MDP) com recompensas unidimensionais em nível de episódio ineficiente e instável. Para enfrentar esses desafios, propomos o Sotopia-RL, uma estrutura inovadora que refina o feedback grosseiro em nível de episódio em recompensas multidimensionais em nível de declaração. A atribuição de crédito em nível de declaração mitiga a observabilidade parcial ao atribuir resultados a declarações individuais, enquanto as recompensas multidimensionais capturam toda a riqueza das interações sociais e reduzem a manipulação de recompensas. Experimentos no Sotopia, um ambiente de aprendizado social aberto, demonstram que o Sotopia-RL alcança pontuações de conclusão de metas sociais de última geração (7,17 no Sotopia-hard e 8,31 no Sotopia-full), superando significativamente as abordagens existentes. Estudos de ablação confirmam a necessidade tanto da atribuição de crédito em nível de declaração quanto do design de recompensas multidimensionais para o treinamento de RL. Nossa implementação está publicamente disponível em: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.

Sotopia-RL: Projeto de Recompensa para Inteligência Social

Sotopia-RL: Reward Design for Social Intelligence

Resumo

Support