AgentGrad: マルチエージェントシステムのための介入誘導型プロンプト最適化

要旨

大規模言語モデル（LLM）ベースのマルチエージェントシステム（MAS）は、専門化された複数のエージェントを活用することで高い性能を達成するが、その性能は各エージェントのプロンプト設計に依存する。MASのプロンプト最適化に向けて、自然言語フィードバックを用いてプロンプト更新を導くテキスト勾配手法が主要なパラダイムとして台頭している。本論文では、既存のテキスト勾配アプローチの2つの段階、すなわち勾配抽出と勾配集約における限界を特定する。勾配抽出では、従来研究は、対象プロンプトを修正することが失敗を解決するかどうかを検証せずにそのプロンプトを選択し、対応するエージェントの中間出力に対するエージェントレベルの監督なしに勾配を導出する。勾配集約では、個々の勾配がランダムにグループ化されて連結され、しばしば無関係な失敗モードを混在させ、汎化しないプロンプトを生成する。これらの限界に対処するため、我々は、逐次介入と意味的テキスト勾配抽象化に基づくマルチエージェントシステム向けプロンプト最適化フレームワークAgentGradを提案する。各失敗に対して、逐次介入は一度に1つのエージェントの振る舞いを変更し、その変更が失敗を解決する対象エージェントを特定する。対象エージェントの変更後の出力は、細粒度勾配を抽出するためのエージェントレベルの監督として機能する。意味的テキスト勾配抽象化は、無関係な失敗モードの混在を防ぐために意味的に類似した勾配をクラスタリングし、各クラスタを、共有された修正パターンを捉える一般化された勾配へと抽象化する。実験結果は、AgentGradが5つのMASベンチマークで最先端性能を達成し、次に速いベースラインと比較してウォールクロック最適化時間を平均で2.5分の1に短縮することを示す。

English

Large language model (LLM)-based multi-agent systems (MAS) achieve strong performance by employing specialized multiple agents, yet their performance depends on the prompt design of each agent. For MAS prompt optimization, textual gradient methods that guide prompt updates using natural-language feedback have emerged as a leading paradigm. In this paper, we identify limitations in two stages of existing textual gradient approaches: gradient extraction and gradient aggregation. In gradient extraction, previous works select a target prompt without verifying whether modifying it resolves the failure, and derive gradients without agent-level supervision over the corresponding agent's intermediate output. In gradient aggregation, individual gradients are randomly grouped and concatenated, often mixing unrelated failure modes and producing prompts that fail to generalize. To address these limitations, we propose AgentGrad, a prompt optimization framework for multi-agent systems based on sequential intervention and semantic textual gradient abstraction. For each failure, sequential intervention modifies the behavior of one agent at a time to identify the target agent whose modification resolves the failure. The modified output of the target agent then serves as agent-level supervision for extracting a fine-grained gradient. Semantic textual gradient abstraction clusters semantically similar gradients to prevent mixing unrelated failure modes, and abstracts each cluster into a generalized gradient that captures the shared corrective pattern. Experimental results show that AgentGrad achieves state-of-the-art performance across five MAS benchmarks and reduces wall-clock optimization time by 2.5times on average compared to the next-fastest baseline.