Entrenamiento de Modelos de Lenguaje para Deducción Social con Aprendizaje por Refuerzo Multiagente

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

February 9, 2025

Autores: Bidipta Sarkar, Warren Xia, C. Karen Liu, Dorsa Sadigh

cs.AI

Resumen

Comunicarse en lenguaje natural es una herramienta poderosa en entornos multiagente, ya que permite a agentes independientes compartir información en entornos parcialmente observables y facilita la coordinación sin entrenamiento previo con humanos. Sin embargo, la mayoría de los trabajos previos están limitados, ya sea porque dependen de entrenamiento con grandes cantidades de demostraciones humanas o porque carecen de la capacidad para generar estrategias de comunicación naturales y útiles. En este trabajo, entrenamos modelos de lenguaje para tener discusiones productivas sobre su entorno en lenguaje natural sin ninguna demostración humana. Descomponemos el problema de comunicación en escuchar y hablar. Nuestra idea clave es aprovechar el objetivo del agente para predecir información útil sobre el mundo como una señal de recompensa densa que guía la comunicación. Específicamente, mejoramos las habilidades de escucha de un modelo entrenándolo para predecir información sobre el entorno basándose en las discusiones, y simultáneamente mejoramos las habilidades de habla de un modelo con aprendizaje por refuerzo multiagente recompensando los mensajes según su influencia en otros agentes. Para investigar el papel y la necesidad de la comunicación en entornos sociales complejos, estudiamos un juego de deducción social encarnado basado en Among Us, donde la pregunta clave a responder es la identidad de un impostor adversario. Analizamos comportamientos emergentes debido a nuestra técnica, como acusar sospechosos y proporcionar evidencia, y encontramos que habilita discusiones sólidas, duplicando las tasas de victoria en comparación con el RL estándar. Publicamos nuestro código y modelos en https://socialdeductionllm.github.io/

English

Communicating in natural language is a powerful tool in multi-agent settings, as it enables independent agents to share information in partially observable settings and allows zero-shot coordination with humans. However, most prior works are limited as they either rely on training with large amounts of human demonstrations or lack the ability to generate natural and useful communication strategies. In this work, we train language models to have productive discussions about their environment in natural language without any human demonstrations. We decompose the communication problem into listening and speaking. Our key idea is to leverage the agent's goal to predict useful information about the world as a dense reward signal that guides communication. Specifically, we improve a model's listening skills by training them to predict information about the environment based on discussions, and we simultaneously improve a model's speaking skills with multi-agent reinforcement learning by rewarding messages based on their influence on other agents. To investigate the role and necessity of communication in complex social settings, we study an embodied social deduction game based on Among Us, where the key question to answer is the identity of an adversarial imposter. We analyze emergent behaviors due to our technique, such as accusing suspects and providing evidence, and find that it enables strong discussions, doubling the win rates compared to standard RL. We release our code and models at https://socialdeductionllm.github.io/