Zeit zum Reden: LLM-Agenten für asynchrone Gruppenkommunikation in Mafia-Spielen

Time to Talk: LLM Agents for Asynchronous Group Communication in Mafia Games

June 5, 2025

Autoren: Niv Eckhaus, Uri Berger, Gabriel Stanovsky

cs.AI

Zusammenfassung

LLMs werden überwiegend in der synchronen Kommunikation eingesetzt, bei der ein menschlicher Benutzer und ein Modell in abwechselnden Zügen kommunizieren. Im Gegensatz dazu sind viele reale Szenarien inhärent asynchron. Beispielsweise gibt es in Gruppenchats, Online-Teambesprechungen oder sozialen Spielen kein inhärentes Konzept von Zügen; daher ist die Entscheidung, wann gesprochen wird, ein entscheidender Teil der Entscheidungsfindung der Teilnehmer. In dieser Arbeit entwickeln wir einen adaptiven asynchronen LLM-Agenten, der zusätzlich zur Bestimmung dessen, was gesagt werden soll, auch entscheidet, wann es gesagt wird. Um unseren Agenten zu evaluieren, sammeln wir einen einzigartigen Datensatz von Online-Mafia-Spielen, der sowohl menschliche Teilnehmer als auch unseren asynchronen Agenten umfasst. Insgesamt schneidet unser Agent auf Augenhöhe mit menschlichen Spielern ab, sowohl in Bezug auf die Spielleistung als auch auf die Fähigkeit, sich mit den anderen menschlichen Spielern zu integrieren. Unsere Analyse zeigt, dass das Verhalten des Agenten bei der Entscheidung, wann gesprochen wird, menschlichen Mustern stark ähnelt, obwohl Unterschiede im Nachrichteninhalt auftreten. Wir veröffentlichen alle unsere Daten und Codes, um weitere Forschungen für realistischere asynchrone Kommunikation zwischen LLM-Agenten zu unterstützen und zu fördern. Diese Arbeit ebnet den Weg für die Integration von LLMs in realistische menschliche Gruppensettings, von der Unterstützung in Teamdiskussionen bis hin zu Bildungs- und Berufsumgebungen, in denen komplexe soziale Dynamiken navigiert werden müssen.

English

LLMs are used predominantly in synchronous communication, where a human user and a model communicate in alternating turns. In contrast, many real-world settings are inherently asynchronous. For example, in group chats, online team meetings, or social games, there is no inherent notion of turns; therefore, the decision of when to speak forms a crucial part of the participant's decision making. In this work, we develop an adaptive asynchronous LLM-agent which, in addition to determining what to say, also decides when to say it. To evaluate our agent, we collect a unique dataset of online Mafia games, including both human participants, as well as our asynchronous agent. Overall, our agent performs on par with human players, both in game performance, as well as in its ability to blend in with the other human players. Our analysis shows that the agent's behavior in deciding when to speak closely mirrors human patterns, although differences emerge in message content. We release all our data and code to support and encourage further research for more realistic asynchronous communication between LLM agents. This work paves the way for integration of LLMs into realistic human group settings, from assistance in team discussions to educational and professional environments where complex social dynamics must be navigated.