Tijd om te praten: LLM-agents voor asynchrone groepscommunicatie in Mafiagames

Time to Talk: LLM Agents for Asynchronous Group Communication in Mafia Games

June 5, 2025

Auteurs: Niv Eckhaus, Uri Berger, Gabriel Stanovsky

cs.AI

Samenvatting

LLM's worden voornamelijk gebruikt in synchrone communicatie, waarbij een menselijke gebruiker en een model om beurten communiceren. Daarentegen zijn veel real-world situaties inherent asynchroon. Bijvoorbeeld in groepschats, online teamvergaderingen of sociale spellen is er geen inherent begrip van beurten; daarom vormt de beslissing van wanneer te spreken een cruciaal onderdeel van de besluitvorming van de deelnemer. In dit werk ontwikkelen we een adaptieve asynchrone LLM-agent die, naast het bepalen van wat te zeggen, ook beslist wanneer het te zeggen. Om onze agent te evalueren, verzamelen we een unieke dataset van online Mafia-spellen, met zowel menselijke deelnemers als onze asynchrone agent. Over het algemeen presteert onze agent op hetzelfde niveau als menselijke spelers, zowel in spelprestaties als in het vermogen om zich te mengen met de andere menselijke spelers. Onze analyse toont aan dat het gedrag van de agent bij het beslissen van wanneer te spreken nauw aansluit bij menselijke patronen, hoewel er verschillen ontstaan in berichtinhoud. We maken al onze data en code vrij beschikbaar om verder onderzoek te ondersteunen en aan te moedigen voor meer realistische asynchrone communicatie tussen LLM-agenten. Dit werk baant de weg voor de integratie van LLM's in realistische menselijke groepsomgevingen, van assistentie bij teamdiscussies tot educatieve en professionele omgevingen waar complexe sociale dynamieken moeten worden genavigeerd.

English

LLMs are used predominantly in synchronous communication, where a human user and a model communicate in alternating turns. In contrast, many real-world settings are inherently asynchronous. For example, in group chats, online team meetings, or social games, there is no inherent notion of turns; therefore, the decision of when to speak forms a crucial part of the participant's decision making. In this work, we develop an adaptive asynchronous LLM-agent which, in addition to determining what to say, also decides when to say it. To evaluate our agent, we collect a unique dataset of online Mafia games, including both human participants, as well as our asynchronous agent. Overall, our agent performs on par with human players, both in game performance, as well as in its ability to blend in with the other human players. Our analysis shows that the agent's behavior in deciding when to speak closely mirrors human patterns, although differences emerge in message content. We release all our data and code to support and encourage further research for more realistic asynchronous communication between LLM agents. This work paves the way for integration of LLMs into realistic human group settings, from assistance in team discussions to educational and professional environments where complex social dynamics must be navigated.