AgentsNet: Coördinatie en Collaboratief Redeneren in Multi-Agent LLM's

AgentsNet: Coordination and Collaborative Reasoning in Multi-Agent LLMs

July 11, 2025

Auteurs: Florian Grötschla, Luis Müller, Jan Tönshoff, Mikhail Galkin, Bryan Perozzi

cs.AI

Samenvatting

Grote-taalmodellen (LLMs) hebben krachtige probleemoplossende vermogens getoond, met name wanneer ze worden georganiseerd in multi-agent systemen. De opkomst van dergelijke systemen roept echter ook verschillende vragen op over het vermogen van een complex netwerk van agenten om effectief zelforganisatie en samenwerking te realiseren. Hoewel het meten van prestaties op standaard redeneerbenchmarks aangeeft hoe goed multi-agent systemen redeneertaken kunnen oplossen, is het onduidelijk of deze systemen in staat zijn om hun topologie effectief te benutten. Hier stellen we AgentsNet voor, een nieuwe benchmark voor multi-agent redenering. Door inspiratie te putten uit klassieke problemen in gedistribueerde systemen en grafentheorie, meet AgentsNet het vermogen van multi-agent systemen om gezamenlijk strategieën te vormen voor probleemoplossing, zelforganisatie en effectieve communicatie gegeven een netwerktopologie. We evalueren een verscheidenheid aan basismethoden op AgentsNet, waaronder homogene netwerken van agenten die eerst overeenstemming moeten bereiken over basisprotocollen voor organisatie en communicatie. We constateren dat sommige geavanceerde LLMs al sterke prestaties laten zien voor kleine netwerken, maar beginnen af te nemen zodra de grootte van het netwerk toeneemt. Terwijl bestaande multi-agent benchmarks maximaal 2-5 agenten omvatten, is AgentsNet in principe onbeperkt in omvang en kan het meeschalen met nieuwe generaties LLMs. Daarom onderzoeken we ook geavanceerde modellen in een opstelling met tot wel 100 agenten.

English

Large-language models (LLMs) have demonstrated powerful problem-solving capabilities, in particular when organized in multi-agent systems. However, the advent of such systems also raises several questions on the ability of a complex network of agents to effectively self-organize and collaborate. While measuring performance on standard reasoning benchmarks indicates how well multi-agent systems can solve reasoning tasks, it is unclear whether these systems are able to leverage their topology effectively. Here, we propose AgentsNet, a new benchmark for multi-agent reasoning. By drawing inspiration from classical problems in distributed systems and graph theory, AgentsNet measures the ability of multi-agent systems to collaboratively form strategies for problem-solving, self-organization, and effective communication given a network topology. We evaluate a variety of baseline methods on AgentsNet including homogeneous networks of agents which first have to agree on basic protocols for organization and communication. We find that some frontier LLMs are already demonstrating strong performance for small networks but begin to fall off once the size of the network scales. While existing multi-agent benchmarks cover at most 2-5 agents, AgentsNet is practically unlimited in size and can scale with new generations of LLMs. As such, we also probe frontier models in a setup with up to 100 agents.