GBC: Gradiëntgebaseerde connecties voor het optimaliseren van multi-agentsystemen

Samenvatting

Multi-agentsystemen (MAS) gebaseerd op grote taalmodellen (LLM's) bieden een veelbelovend raamwerk voor het oplossen van complexe taken door middel van rolspecialisatie en gestructureerde interactie. Hun prestaties worden echter vaak beperkt door slechte coördinatie en, fundamenteler, het ontbreken van fijnmazige toewijzing van credits over agenten heen. Bestaande benaderingen vertrouwen doorgaans op grofmazige feedback, waardoor het moeilijk is om te identificeren welke agenten of interactiestappen verantwoordelijk zijn voor fouten. Wij stellen Gradient-Based Connections (GBC) voor, een benadering voor fijnmazige attributie en optimalisatie van multi-agentsystemen. GBC modelleert een MAS als een computationele graaf en introduceert gradiëntgebaseerde verbindingsgewichten om de invloed van de output van elke agent op stroomafwaartse agenten op tokenniveau te kwantificeren. Door het construeren van een attributiegraaf en het achterwaarts propageren van taakspecifieke verliessignalen, maakt onze methode nauwkeurige identificatie van foutbronnen en gerichte promptoptimalisatie mogelijk. Verder ontwikkelen we AgentChord, een efficiënte implementatie die gebruikmaakt van prefix-gebaseerde gradiëntberekening. Experimenten op MultiWOZ en τ-bench tonen aan dat GBC de prestaties van multi-agentsystemen verbetert en sterke single-agent- en multi-agent-baselines overtreft, en dat een hogere attributiekwaliteit samenhangt met grotere optimalisatie-effectiviteit. Code is beschikbaar op: https://github.com/yxc-cyber/AgentChord.

English

Multi-agent systems (MAS) built on large language models (LLMs) provide a promising framework for solving complex tasks through role specialization and structured interaction. However, their performance is often limited by miscoordination and, more fundamentally, the lack of fine-grained credit assignment across agents. Existing approaches typically rely on coarse-grained feedback, making it difficult to identify which agents or interaction steps are responsible for errors. We propose Gradient-Based Connections (GBC), an approach for fine-grained attribution and optimization of multi-agent systems. GBC models a MAS as a computational graph and introduces gradient-based connection weights to quantify the influence of each agent's output on downstream agents at the token level. By constructing an attribution graph and propagating task-specific loss signals backward, our method enables precise identification of error sources and targeted prompt optimization. We further develop AgentChord, an efficient implementation that leverages prefix-based gradient computation. Experiments on MultiWOZ and τ-bench show that GBC improves multi-agent performance and outperforms strong single-agent and multi-agent baselines, and higher attribution quality is associated with greater optimization effectiveness. Code is available at: https://github.com/yxc-cyber/AgentChord.