Время для разговора: агенты языковых моделей для асинхронной групповой коммуникации в играх "Мафия"

Time to Talk: LLM Agents for Asynchronous Group Communication in Mafia Games

June 5, 2025

Авторы: Niv Eckhaus, Uri Berger, Gabriel Stanovsky

cs.AI

Аннотация

Крупные языковые модели (LLM) преимущественно используются в синхронной коммуникации, где человек и модель обмениваются сообщениями поочередно. В то же время многие реальные ситуации по своей природе являются асинхронными. Например, в групповых чатах, онлайн-встречах команд или социальных играх отсутствует четкое понятие очередности высказываний; поэтому решение о том, когда говорить, становится важной частью принятия решений участниками. В данной работе мы разрабатываем адаптивного асинхронного агента на основе LLM, который, помимо определения того, что сказать, также решает, когда это сделать. Для оценки нашего агента мы собираем уникальный набор данных из онлайн-игр в "Мафию", включающих как человеческих участников, так и нашего асинхронного агента. В целом, наш агент демонстрирует результаты, сопоставимые с человеческими игроками, как по игровой эффективности, так и по способности гармонично вписываться в группу других игроков. Наш анализ показывает, что поведение агента в принятии решений о времени высказывания близко отражает человеческие паттерны, хотя различия проявляются в содержании сообщений. Мы публикуем все наши данные и код, чтобы поддержать и стимулировать дальнейшие исследования в области более реалистичной асинхронной коммуникации между агентами на основе LLM. Эта работа открывает путь для интеграции LLM в реалистичные групповые взаимодействия людей, начиная от помощи в командных обсуждениях и заканчивая образовательными и профессиональными средами, где необходимо учитывать сложные социальные динамики.

English

LLMs are used predominantly in synchronous communication, where a human user and a model communicate in alternating turns. In contrast, many real-world settings are inherently asynchronous. For example, in group chats, online team meetings, or social games, there is no inherent notion of turns; therefore, the decision of when to speak forms a crucial part of the participant's decision making. In this work, we develop an adaptive asynchronous LLM-agent which, in addition to determining what to say, also decides when to say it. To evaluate our agent, we collect a unique dataset of online Mafia games, including both human participants, as well as our asynchronous agent. Overall, our agent performs on par with human players, both in game performance, as well as in its ability to blend in with the other human players. Our analysis shows that the agent's behavior in deciding when to speak closely mirrors human patterns, although differences emerge in message content. We release all our data and code to support and encourage further research for more realistic asynchronous communication between LLM agents. This work paves the way for integration of LLMs into realistic human group settings, from assistance in team discussions to educational and professional environments where complex social dynamics must be navigated.