AgentsNet: Koordination und kollaboratives Denken in Multi-Agenten-LLMs

AgentsNet: Coordination and Collaborative Reasoning in Multi-Agent LLMs

July 11, 2025

papers.authors: Florian Grötschla, Luis Müller, Jan Tönshoff, Mikhail Galkin, Bryan Perozzi

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten zur Problemlösung unter Beweis gestellt, insbesondere wenn sie in Multi-Agenten-Systemen organisiert sind. Die Einführung solcher Systeme wirft jedoch auch mehrere Fragen zur Fähigkeit eines komplexen Netzwerks von Agenten auf, sich effektiv selbst zu organisieren und zusammenzuarbeiten. Während die Messung der Leistung anhand standardisierter Denkaufgaben zeigt, wie gut Multi-Agenten-Systeme logische Aufgaben lösen können, bleibt unklar, ob diese Systeme in der Lage sind, ihre Topologie effektiv zu nutzen. Hier schlagen wir AgentsNet vor, einen neuen Benchmark für das Multi-Agenten-Denken. Inspiriert von klassischen Problemen der verteilten Systeme und der Graphentheorie misst AgentsNet die Fähigkeit von Multi-Agenten-Systemen, gemeinsam Strategien zur Problemlösung, Selbstorganisation und effektiven Kommunikation unter Berücksichtigung einer Netzwerktopologie zu entwickeln. Wir bewerten eine Vielzahl von Baseline-Methoden auf AgentsNet, einschließlich homogener Netzwerke von Agenten, die zunächst grundlegende Protokolle für Organisation und Kommunikation vereinbaren müssen. Wir stellen fest, dass einige fortschrittliche LLMs bereits eine starke Leistung für kleine Netzwerke zeigen, jedoch nachlassen, sobald die Größe des Netzwerks skaliert wird. Während bestehende Multi-Agenten-Benchmarks höchstens 2-5 Agenten abdecken, ist AgentsNet praktisch unbegrenzt in der Größe und kann mit neuen Generationen von LLMs skaliert werden. Daher testen wir auch fortschrittliche Modelle in einem Setup mit bis zu 100 Agenten.

English

Large-language models (LLMs) have demonstrated powerful problem-solving capabilities, in particular when organized in multi-agent systems. However, the advent of such systems also raises several questions on the ability of a complex network of agents to effectively self-organize and collaborate. While measuring performance on standard reasoning benchmarks indicates how well multi-agent systems can solve reasoning tasks, it is unclear whether these systems are able to leverage their topology effectively. Here, we propose AgentsNet, a new benchmark for multi-agent reasoning. By drawing inspiration from classical problems in distributed systems and graph theory, AgentsNet measures the ability of multi-agent systems to collaboratively form strategies for problem-solving, self-organization, and effective communication given a network topology. We evaluate a variety of baseline methods on AgentsNet including homogeneous networks of agents which first have to agree on basic protocols for organization and communication. We find that some frontier LLMs are already demonstrating strong performance for small networks but begin to fall off once the size of the network scales. While existing multi-agent benchmarks cover at most 2-5 agents, AgentsNet is practically unlimited in size and can scale with new generations of LLMs. As such, we also probe frontier models in a setup with up to 100 agents.