Addestramento di modelli linguistici per la deduzione sociale con Apprendimento per Rinforzo Multi-Agente.

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

February 9, 2025

Autori: Bidipta Sarkar, Warren Xia, C. Karen Liu, Dorsa Sadigh

cs.AI

Abstract

Comunicare in linguaggio naturale è uno strumento potente in contesti multi-agente, poiché consente ad agenti indipendenti di condividere informazioni in ambienti parzialmente osservabili e permette la coordinazione senza preparazione con gli esseri umani. Tuttavia, la maggior parte dei lavori precedenti è limitata poiché si basano o sull'addestramento con grandi quantità di dimostrazioni umane o mancano della capacità di generare strategie di comunicazione naturali e utili. In questo lavoro, addestriamo modelli linguistici a condurre discussioni produttive sull'ambiente in linguaggio naturale senza alcuna dimostrazione umana. Scomponiamo il problema della comunicazione in ascolto e parlato. La nostra idea chiave è sfruttare l'obiettivo dell'agente per predire informazioni utili sul mondo come segnale di ricompensa denso che guida la comunicazione. In particolare, miglioriamo le capacità di ascolto di un modello addestrandolo a predire informazioni sull'ambiente basandosi sulle discussioni, e miglioriamo contemporaneamente le capacità di parlato di un modello con l'apprendimento per rinforzo multi-agente ricompensando i messaggi in base alla loro influenza sugli altri agenti. Per indagare il ruolo e la necessità della comunicazione in contesti sociali complessi, studiamo un gioco di deduzione sociale basato su Among Us, in cui la domanda chiave da risolvere è l'identità di un impostore avversario. Analizziamo comportamenti emergenti dovuti alla nostra tecnica, come accusare sospetti e fornire prove, e scopriamo che essa favorisce discussioni intense, raddoppiando i tassi di vittoria rispetto all'apprendimento per rinforzo standard. Rilasciamo il nostro codice e i modelli su https://socialdeductionllm.github.io/

English

Communicating in natural language is a powerful tool in multi-agent settings, as it enables independent agents to share information in partially observable settings and allows zero-shot coordination with humans. However, most prior works are limited as they either rely on training with large amounts of human demonstrations or lack the ability to generate natural and useful communication strategies. In this work, we train language models to have productive discussions about their environment in natural language without any human demonstrations. We decompose the communication problem into listening and speaking. Our key idea is to leverage the agent's goal to predict useful information about the world as a dense reward signal that guides communication. Specifically, we improve a model's listening skills by training them to predict information about the environment based on discussions, and we simultaneously improve a model's speaking skills with multi-agent reinforcement learning by rewarding messages based on their influence on other agents. To investigate the role and necessity of communication in complex social settings, we study an embodied social deduction game based on Among Us, where the key question to answer is the identity of an adversarial imposter. We analyze emergent behaviors due to our technique, such as accusing suspects and providing evidence, and find that it enables strong discussions, doubling the win rates compared to standard RL. We release our code and models at https://socialdeductionllm.github.io/