GBC : Connexions basées sur le gradient pour l'optimisation des systèmes multi-agents

Résumé

Les systèmes multi-agents (SMA) construits sur des grands modèles de langage (LLM) offrent un cadre prometteur pour résoudre des tâches complexes grâce à la spécialisation des rôles et à l'interaction structurée. Cependant, leurs performances sont souvent limitées par une mauvaise coordination et, plus fondamentalement, par l'absence d'une attribution de crédit fine entre les agents. Les approches existantes reposent généralement sur un retour d'information grossier, ce qui rend difficile l'identification des agents ou des étapes d'interaction responsables des erreurs. Nous proposons Gradient-Based Connections (GBC), une approche pour l'attribution fine et l'optimisation des systèmes multi-agents. GBC modélise un SMA comme un graphe de calcul et introduit des poids de connexion basés sur le gradient pour quantifier l'influence de la sortie de chaque agent sur les agents en aval au niveau des jetons. En construisant un graphe d'attribution et en propageant des signaux de perte spécifiques à la tâche vers l'arrière, notre méthode permet une identification précise des sources d'erreur et une optimisation ciblée des invites. Nous développons également AgentChord, une implémentation efficace qui exploite le calcul de gradient basé sur les préfixes. Des expériences sur MultiWOZ et τ-bench montrent que GBC améliore les performances multi-agents et surpasse des bases de référence fortes (mono-agent et multi-agents), et qu'une meilleure qualité d'attribution est associée à une plus grande efficacité d'optimisation. Le code est disponible à l'adresse : https://github.com/yxc-cyber/AgentChord.

English

Multi-agent systems (MAS) built on large language models (LLMs) provide a promising framework for solving complex tasks through role specialization and structured interaction. However, their performance is often limited by miscoordination and, more fundamentally, the lack of fine-grained credit assignment across agents. Existing approaches typically rely on coarse-grained feedback, making it difficult to identify which agents or interaction steps are responsible for errors. We propose Gradient-Based Connections (GBC), an approach for fine-grained attribution and optimization of multi-agent systems. GBC models a MAS as a computational graph and introduces gradient-based connection weights to quantify the influence of each agent's output on downstream agents at the token level. By constructing an attribution graph and propagating task-specific loss signals backward, our method enables precise identification of error sources and targeted prompt optimization. We further develop AgentChord, an efficient implementation that leverages prefix-based gradient computation. Experiments on MultiWOZ and τ-bench show that GBC improves multi-agent performance and outperforms strong single-agent and multi-agent baselines, and higher attribution quality is associated with greater optimization effectiveness. Code is available at: https://github.com/yxc-cyber/AgentChord.