GBC: マルチエージェントシステム最適化のための勾配ベースの接続

要旨

大規模言語モデル（LLM）に基づくマルチエージェントシステム（MAS）は、役割特化と構造化された相互作用を通じて複雑なタスクを解決する有望な枠組みを提供する。しかし、その性能はしばしば調整不足、さらに根本的にはエージェント間のきめ細かなクレジット割り当ての欠如によって制限される。既存のアプローチは通常、粗いフィードバックに依存しており、どのエージェントまたは相互作用ステップがエラーの原因であるかを特定することが困難である。本論文では、マルチエージェントシステムのきめ細かな帰属と最適化のためのアプローチであるGradient-Based Connections（GBC）を提案する。GBCはMASを計算グラフとしてモデル化し、勾配ベースの接続重みを導入して、各エージェントの出力が下流のエージェントに与える影響をトークンレベルで定量化する。帰属グラフを構築し、タスク固有の損失信号を逆方向に伝播させることで、本手法はエラーソースの精密な特定と対象を絞ったプロンプト最適化を可能にする。さらに、プレフィックスベースの勾配計算を活用した効率的な実装であるAgentChordを開発する。MultiWOZおよびτ-benchでの実験により、GBCはマルチエージェントの性能を向上させ、強力なシングルエージェントおよびマルチエージェントのベースラインを上回り、帰属の質が高いほど最適化の効果が大きいことが示された。コードは以下から入手可能：https://github.com/yxc-cyber/AgentChord。

English

Multi-agent systems (MAS) built on large language models (LLMs) provide a promising framework for solving complex tasks through role specialization and structured interaction. However, their performance is often limited by miscoordination and, more fundamentally, the lack of fine-grained credit assignment across agents. Existing approaches typically rely on coarse-grained feedback, making it difficult to identify which agents or interaction steps are responsible for errors. We propose Gradient-Based Connections (GBC), an approach for fine-grained attribution and optimization of multi-agent systems. GBC models a MAS as a computational graph and introduces gradient-based connection weights to quantify the influence of each agent's output on downstream agents at the token level. By constructing an attribution graph and propagating task-specific loss signals backward, our method enables precise identification of error sources and targeted prompt optimization. We further develop AgentChord, an efficient implementation that leverages prefix-based gradient computation. Experiments on MultiWOZ and τ-bench show that GBC improves multi-agent performance and outperforms strong single-agent and multi-agent baselines, and higher attribution quality is associated with greater optimization effectiveness. Code is available at: https://github.com/yxc-cyber/AgentChord.