Training von Sprachmodellen für soziale Deduktion mit Multi-Agenten Verstärkendem Lernen

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

February 9, 2025

Autoren: Bidipta Sarkar, Warren Xia, C. Karen Liu, Dorsa Sadigh

cs.AI

Zusammenfassung

Die Kommunikation in natürlicher Sprache ist ein mächtiges Werkzeug in Multi-Agenten-Umgebungen, da es unabhängigen Agenten ermöglicht, Informationen in teilweise beobachtbaren Umgebungen auszutauschen und eine Koordination ohne vorherige Anweisung mit Menschen zu ermöglichen. Die meisten bisherigen Arbeiten sind jedoch begrenzt, da sie entweder auf dem Training mit großen Mengen menschlicher Demonstrationen beruhen oder nicht in der Lage sind, natürliche und nützliche Kommunikationsstrategien zu generieren. In dieser Arbeit trainieren wir Sprachmodelle, um produktive Diskussionen über ihre Umgebung in natürlicher Sprache zu führen, ohne auf menschliche Demonstrationen angewiesen zu sein. Wir zerlegen das Kommunikationsproblem in Zuhören und Sprechen. Unsere Schlüsselidee besteht darin, die Zielsetzung des Agenten zu nutzen, um nützliche Informationen über die Welt als dichten Belohnungssignal vorherzusagen, das die Kommunikation lenkt. Konkret verbessern wir die Zuhörfähigkeiten eines Modells, indem wir sie trainieren, Informationen über die Umgebung basierend auf Diskussionen vorherzusagen, und wir verbessern gleichzeitig die Sprechfähigkeiten eines Modells mit Multi-Agenten-Verstärkungslernen, indem wir Nachrichten belohnen, basierend auf ihrem Einfluss auf andere Agenten. Um die Rolle und Notwendigkeit der Kommunikation in komplexen sozialen Umgebungen zu untersuchen, untersuchen wir ein verkörpertes soziales Deduktionsspiel basierend auf Among Us, bei dem die Schlüsselfrage die Identität eines feindlichen Schwindlers ist. Wir analysieren aufgrund unserer Technik entstandene Verhaltensweisen wie das Beschuldigen von Verdächtigen und das Bereitstellen von Beweisen und stellen fest, dass sie starke Diskussionen ermöglicht, wodurch die Gewinnraten im Vergleich zu Standard-RL verdoppelt werden. Wir veröffentlichen unseren Code und unsere Modelle unter https://socialdeductionllm.github.io/

English

Communicating in natural language is a powerful tool in multi-agent settings, as it enables independent agents to share information in partially observable settings and allows zero-shot coordination with humans. However, most prior works are limited as they either rely on training with large amounts of human demonstrations or lack the ability to generate natural and useful communication strategies. In this work, we train language models to have productive discussions about their environment in natural language without any human demonstrations. We decompose the communication problem into listening and speaking. Our key idea is to leverage the agent's goal to predict useful information about the world as a dense reward signal that guides communication. Specifically, we improve a model's listening skills by training them to predict information about the environment based on discussions, and we simultaneously improve a model's speaking skills with multi-agent reinforcement learning by rewarding messages based on their influence on other agents. To investigate the role and necessity of communication in complex social settings, we study an embodied social deduction game based on Among Us, where the key question to answer is the identity of an adversarial imposter. We analyze emergent behaviors due to our technique, such as accusing suspects and providing evidence, and find that it enables strong discussions, doubling the win rates compared to standard RL. We release our code and models at https://socialdeductionllm.github.io/