Sotopia-RL: Проектирование вознаграждений для социального интеллекта

Аннотация

Социальный интеллект стал критически важной способностью для крупных языковых моделей (LLM), позволяя им эффективно участвовать в реальных социальных задачах, таких как адаптация, убеждение, сотрудничество и переговоры. Обучение с подкреплением (RL) естественным образом подходит для тренировки социально интеллектуальных агентов, поскольку позволяет моделям изучать сложные стратегии напрямую через социальные взаимодействия. Однако социальные взаимодействия обладают двумя ключевыми характеристиками, которые создают барьеры для RL-обучения: (1) частичная наблюдаемость, при которой высказывания имеют косвенные и отсроченные эффекты, что усложняет распределение заслуг, и (2) многомерность, при которой поведение, такое как установление взаимопонимания или поиск знаний, косвенно способствует достижению цели. Эти характеристики делают RL на основе марковских процессов принятия решений (MDP) с одномерными наградами на уровне эпизода неэффективным и нестабильным. Для решения этих проблем мы предлагаем Sotopia-RL, новый фреймворк, который преобразует грубые награды на уровне эпизода в многомерные награды на уровне высказываний. Распределение заслуг на уровне высказываний смягчает проблему частичной наблюдаемости, приписывая результаты отдельным высказываниям, а многомерные награды охватывают всю сложность социальных взаимодействий и снижают риск "взлома наград". Эксперименты в Sotopia, открытой среде для социального обучения, показывают, что Sotopia-RL достигает наивысших показателей завершения социальных целей (7.17 на Sotopia-hard и 8.31 на Sotopia-full), значительно превосходя существующие подходы. Абляционные исследования подтверждают необходимость как распределения заслуг на уровне высказываний, так и многомерного дизайна наград для RL-обучения. Наша реализация доступна публично по адресу: https://github.com/sotopia-lab/sotopia-rl.

English

Social intelligence has become a critical capability for large language models (LLMs), enabling them to engage effectively in real-world social tasks such as accommodation, persuasion, collaboration, and negotiation. Reinforcement learning (RL) is a natural fit for training socially intelligent agents because it allows models to learn sophisticated strategies directly through social interactions. However, social interactions have two key characteristics that set barriers for RL training: (1) partial observability, where utterances have indirect and delayed effects that complicate credit assignment, and (2) multi-dimensionality, where behaviors such as rapport-building or knowledge-seeking contribute indirectly to goal achievement. These characteristics make Markov decision process (MDP)-based RL with single-dimensional episode-level rewards inefficient and unstable. To address these challenges, we propose Sotopia-RL, a novel framework that refines coarse episode-level feedback into utterance-level, multi-dimensional rewards. Utterance-level credit assignment mitigates partial observability by attributing outcomes to individual utterances, while multi-dimensional rewards capture the full richness of social interactions and reduce reward hacking. Experiments in Sotopia, an open-ended social learning environment, demonstrate that Sotopia-RL achieves state-of-the-art social goal completion scores (7.17 on Sotopia-hard and 8.31 on Sotopia-full), significantly outperforming existing approaches. Ablation studies confirm the necessity of both utterance-level credit assignment and multi-dimensional reward design for RL training. Our implementation is publicly available at: https://github.com/sotopia-lab/sotopia-rl.

Sotopia-RL: Проектирование вознаграждений для социального интеллекта

Sotopia-RL: Reward Design for Social Intelligence

Аннотация

Support