AgentsNet: Координация и совместное рассуждение в многоагентных языковых моделях
AgentsNet: Coordination and Collaborative Reasoning in Multi-Agent LLMs
July 11, 2025
Авторы: Florian Grötschla, Luis Müller, Jan Tönshoff, Mikhail Galkin, Bryan Perozzi
cs.AI
Аннотация
Крупные языковые модели (LLM) продемонстрировали мощные способности к решению задач, особенно при организации в многоагентные системы. Однако появление таких систем также поднимает ряд вопросов о способности сложной сети агентов эффективно самоорганизовываться и сотрудничать. Хотя измерение производительности на стандартных тестах логического мышления показывает, насколько хорошо многоагентные системы могут решать задачи, остается неясным, способны ли эти системы эффективно использовать свою топологию. В данной работе мы предлагаем AgentsNet — новый эталонный тест для оценки логического мышления в многоагентных системах. Вдохновляясь классическими задачами из области распределенных систем и теории графов, AgentsNet измеряет способность многоагентных систем совместно формировать стратегии для решения задач, самоорганизации и эффективной коммуникации с учетом заданной топологии сети. Мы оцениваем различные базовые методы на AgentsNet, включая однородные сети агентов, которые сначала должны договориться о базовых протоколах организации и коммуникации. Мы обнаруживаем, что некоторые передовые LLM уже демонстрируют высокую производительность для небольших сетей, но начинают отставать при увеличении масштаба сети. В то время как существующие эталонные тесты для многоагентных систем охватывают не более 2–5 агентов, AgentsNet практически не ограничен по размеру и может масштабироваться вместе с новыми поколениями LLM. В связи с этим мы также исследуем передовые модели в конфигурации с числом агентов до 100.
English
Large-language models (LLMs) have demonstrated powerful problem-solving
capabilities, in particular when organized in multi-agent systems. However, the
advent of such systems also raises several questions on the ability of a
complex network of agents to effectively self-organize and collaborate. While
measuring performance on standard reasoning benchmarks indicates how well
multi-agent systems can solve reasoning tasks, it is unclear whether these
systems are able to leverage their topology effectively. Here, we propose
AgentsNet, a new benchmark for multi-agent reasoning. By drawing inspiration
from classical problems in distributed systems and graph theory, AgentsNet
measures the ability of multi-agent systems to collaboratively form strategies
for problem-solving, self-organization, and effective communication given a
network topology. We evaluate a variety of baseline methods on AgentsNet
including homogeneous networks of agents which first have to agree on basic
protocols for organization and communication. We find that some frontier LLMs
are already demonstrating strong performance for small networks but begin to
fall off once the size of the network scales. While existing multi-agent
benchmarks cover at most 2-5 agents, AgentsNet is practically unlimited in size
and can scale with new generations of LLMs. As such, we also probe frontier
models in a setup with up to 100 agents.