Обучение языковых моделей для социального дедуктивного вывода с помощью мультиагентного обучения с подкреплением.

Training Language Models for Social Deduction with Multi-Agent Reinforcement Learning

February 9, 2025

Авторы: Bidipta Sarkar, Warren Xia, C. Karen Liu, Dorsa Sadigh

cs.AI

Аннотация

Общение на естественном языке является мощным инструментом в многоагентных средах, поскольку позволяет независимым агентам обмениваться информацией в частично наблюдаемых средах и обеспечивает координацию с людьми без предварительного обучения. Однако большинство предыдущих работ ограничены, поскольку либо полагаются на обучение с большим количеством демонстраций от людей, либо не обладают способностью генерировать естественные и полезные стратегии общения. В данной работе мы обучаем языковые модели вести продуктивные дискуссии о своей среде на естественном языке без каких-либо демонстраций от людей. Мы разбиваем проблему коммуникации на прослушивание и высказывание. Наша основная идея заключается в использовании цели агента для предсказания полезной информации о мире в качестве плотного сигнала вознаграждения, направляющего коммуникацию. Конкретно, мы улучшаем навыки прослушивания модели, обучая их предсказывать информацию о среде на основе дискуссий, и одновременно улучшаем навыки высказывания модели с помощью многозадачного обучения с подкреплением, вознаграждая сообщения на основе их влияния на других агентов. Для изучения роли и необходимости коммуникации в сложных социальных средах мы изучаем воплощенную игру в социальное обманывание на основе Among Us, где ключевым вопросом является определение личности противостоящего мошенника. Мы анализируем возникающие поведенческие особенности благодаря нашей технике, такие как обвинения в подозрении и предоставление доказательств, и обнаруживаем, что это позволяет проводить эффективные дискуссии, удваивая показатели побед по сравнению со стандартным обучением с подкреплением. Мы выкладываем наш код и модели по адресу https://socialdeductionllm.github.io/

English

Communicating in natural language is a powerful tool in multi-agent settings, as it enables independent agents to share information in partially observable settings and allows zero-shot coordination with humans. However, most prior works are limited as they either rely on training with large amounts of human demonstrations or lack the ability to generate natural and useful communication strategies. In this work, we train language models to have productive discussions about their environment in natural language without any human demonstrations. We decompose the communication problem into listening and speaking. Our key idea is to leverage the agent's goal to predict useful information about the world as a dense reward signal that guides communication. Specifically, we improve a model's listening skills by training them to predict information about the environment based on discussions, and we simultaneously improve a model's speaking skills with multi-agent reinforcement learning by rewarding messages based on their influence on other agents. To investigate the role and necessity of communication in complex social settings, we study an embodied social deduction game based on Among Us, where the key question to answer is the identity of an adversarial imposter. We analyze emergent behaviors due to our technique, such as accusing suspects and providing evidence, and find that it enables strong discussions, doubling the win rates compared to standard RL. We release our code and models at https://socialdeductionllm.github.io/