AgentsNet: 다중 에이전트 LLM에서의 조정 및 협력적 추론

AgentsNet: Coordination and Collaborative Reasoning in Multi-Agent LLMs

July 11, 2025

저자: Florian Grötschla, Luis Müller, Jan Tönshoff, Mikhail Galkin, Bryan Perozzi

cs.AI

초록

대규모 언어 모델(LLMs)은 특히 다중 에이전트 시스템으로 조직되었을 때 강력한 문제 해결 능력을 보여주고 있다. 그러나 이러한 시스템의 등장은 복잡한 에이전트 네트워크가 효과적으로 자체 조직화하고 협력할 수 있는 능력에 대한 여러 질문을 제기한다. 표준 추론 벤치마크에서의 성능 측정은 다중 에이전트 시스템이 추론 작업을 얼마나 잘 해결할 수 있는지를 나타내지만, 이러한 시스템이 토폴로지를 효과적으로 활용할 수 있는지는 불분명하다. 본 연구에서는 다중 에이전트 추론을 위한 새로운 벤치마크인 AgentsNet을 제안한다. 분산 시스템 및 그래프 이론의 고전적인 문제에서 영감을 얻은 AgentsNet은 네트워크 토폴로지가 주어졌을 때 다중 에이전트 시스템이 문제 해결, 자체 조직화 및 효과적인 의사소통을 위한 전략을 협력적으로 형성할 수 있는 능력을 측정한다. 우리는 AgentsNet에서 조직 및 의사소통을 위한 기본 프로토콜에 먼저 합의해야 하는 동질적인 에이전트 네트워크를 포함한 다양한 베이스라인 방법을 평가한다. 일부 최신 LLMs는 소규모 네트워크에서 강력한 성능을 보여주지만 네트워크 규모가 확장되면 성능이 저하되기 시작한다. 기존의 다중 에이전트 벤치마크는 최대 2-5개의 에이전트를 다루는 반면, AgentsNet은 크기에 제한이 없으며 새로운 세대의 LLMs와 함께 확장될 수 있다. 따라서 우리는 최대 100개의 에이전트를 대상으로 설정하여 최신 모델을 탐구한다.

English

Large-language models (LLMs) have demonstrated powerful problem-solving capabilities, in particular when organized in multi-agent systems. However, the advent of such systems also raises several questions on the ability of a complex network of agents to effectively self-organize and collaborate. While measuring performance on standard reasoning benchmarks indicates how well multi-agent systems can solve reasoning tasks, it is unclear whether these systems are able to leverage their topology effectively. Here, we propose AgentsNet, a new benchmark for multi-agent reasoning. By drawing inspiration from classical problems in distributed systems and graph theory, AgentsNet measures the ability of multi-agent systems to collaboratively form strategies for problem-solving, self-organization, and effective communication given a network topology. We evaluate a variety of baseline methods on AgentsNet including homogeneous networks of agents which first have to agree on basic protocols for organization and communication. We find that some frontier LLMs are already demonstrating strong performance for small networks but begin to fall off once the size of the network scales. While existing multi-agent benchmarks cover at most 2-5 agents, AgentsNet is practically unlimited in size and can scale with new generations of LLMs. As such, we also probe frontier models in a setup with up to 100 agents.