Entraînement de modèles de langage pour la déduction sociale avec l'apprentissage par renforcement multi-agent.

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

February 9, 2025

Auteurs: Bidipta Sarkar, Warren Xia, C. Karen Liu, Dorsa Sadigh

cs.AI

Résumé

La communication en langage naturel est un outil puissant dans les environnements multi-agents, car elle permet aux agents indépendants de partager des informations dans des environnements partiellement observables et autorise une coordination sans entraînement préalable avec les humains. Cependant, la plupart des travaux antérieurs sont limités car ils reposent soit sur un entraînement avec de grandes quantités de démonstrations humaines, soit ils manquent de la capacité à générer des stratégies de communication naturelles et utiles. Dans ce travail, nous entraînons des modèles de langage à avoir des discussions productives sur leur environnement en langage naturel sans aucune démonstration humaine. Nous décomposons le problème de communication en écoute et en expression. Notre idée clé est d'exploiter l'objectif de l'agent pour prédire des informations utiles sur le monde en tant que signal de récompense dense qui guide la communication. Plus précisément, nous améliorons les compétences d'écoute d'un modèle en les entraînant à prédire des informations sur l'environnement en se basant sur les discussions, et nous améliorons simultanément les compétences d'expression d'un modèle avec un apprentissage par renforcement multi-agent en récompensant les messages en fonction de leur influence sur les autres agents. Pour étudier le rôle et la nécessité de la communication dans des environnements sociaux complexes, nous étudions un jeu de déduction sociale incarné basé sur Among Us, où la question clé à répondre est l'identité d'un imposteur adversaire. Nous analysons les comportements émergents dus à notre technique, tels que l'accusation de suspects et la fourniture de preuves, et constatons qu'elle permet des discussions solides, doublant les taux de victoire par rapport à l'apprentissage par renforcement standard. Nous mettons à disposition notre code et nos modèles sur https://socialdeductionllm.github.io/

English

Communicating in natural language is a powerful tool in multi-agent settings, as it enables independent agents to share information in partially observable settings and allows zero-shot coordination with humans. However, most prior works are limited as they either rely on training with large amounts of human demonstrations or lack the ability to generate natural and useful communication strategies. In this work, we train language models to have productive discussions about their environment in natural language without any human demonstrations. We decompose the communication problem into listening and speaking. Our key idea is to leverage the agent's goal to predict useful information about the world as a dense reward signal that guides communication. Specifically, we improve a model's listening skills by training them to predict information about the environment based on discussions, and we simultaneously improve a model's speaking skills with multi-agent reinforcement learning by rewarding messages based on their influence on other agents. To investigate the role and necessity of communication in complex social settings, we study an embodied social deduction game based on Among Us, where the key question to answer is the identity of an adversarial imposter. We analyze emergent behaviors due to our technique, such as accusing suspects and providing evidence, and find that it enables strong discussions, doubling the win rates compared to standard RL. We release our code and models at https://socialdeductionllm.github.io/