AgentGrad: 다중 에이전트 시스템을 위한 개입 기반 프롬프트 최적화

초록

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 특화된 다중 에이전트를 사용함으로써 강력한 성능을 달성하지만, 그 성능은 각 에이전트의 프롬프트 설계에 의존한다. MAS 프롬프트 최적화를 위해, 자연어 피드백을 사용하여 프롬프트 업데이트를 안내하는 텍스트 그래디언트 방법이 주도적 패러다임으로 부상했다. 본 논문에서 우리는 기존 텍스트 그래디언트 접근법의 두 단계, 즉 그래디언트 추출과 그래디언트 집계에서의 한계를 식별한다. 그래디언트 추출에서, 이전 연구들은 대상 프롬프트를 수정하는 것이 실패를 해결하는지 검증하지 않은 채 대상 프롬프트를 선택하고, 해당 에이전트의 중간 출력에 대한 에이전트 수준 감독 없이 그래디언트를 도출한다. 그래디언트 집계에서, 개별 그래디언트는 무작위로 그룹화되고 연결되어, 종종 서로 관련 없는 실패 모드를 혼합하고 일반화에 실패하는 프롬프트를 생성한다. 이러한 한계를 해결하기 위해, 우리는 순차적 개입과 의미론적 텍스트 그래디언트 추상화에 기반한 다중 에이전트 시스템용 프롬프트 최적화 프레임워크인 AgentGrad를 제안한다. 각 실패에 대해, 순차적 개입은 한 번에 하나의 에이전트의 행동을 수정하여 수정이 실패를 해결하는 대상 에이전트를 식별한다. 그런 다음 대상 에이전트의 수정된 출력은 세밀한 그래디언트를 추출하기 위한 에이전트 수준 감독으로 작용한다. 의미론적 텍스트 그래디언트 추상화는 의미론적으로 유사한 그래디언트를 클러스터링하여 관련 없는 실패 모드가 혼합되는 것을 방지하고, 각 클러스터를 공유된 교정 패턴을 포착하는 일반화된 그래디언트로 추상화한다. 실험 결과는 AgentGrad가 다섯 개의 MAS 벤치마크에서 최신 최고 성능을 달성하고, 다음으로 빠른 베이스라인과 비교하여 실제 경과 최적화 시간을 평균 2.5배 단축함을 보여준다.

English

Large language model (LLM)-based multi-agent systems (MAS) achieve strong performance by employing specialized multiple agents, yet their performance depends on the prompt design of each agent. For MAS prompt optimization, textual gradient methods that guide prompt updates using natural-language feedback have emerged as a leading paradigm. In this paper, we identify limitations in two stages of existing textual gradient approaches: gradient extraction and gradient aggregation. In gradient extraction, previous works select a target prompt without verifying whether modifying it resolves the failure, and derive gradients without agent-level supervision over the corresponding agent's intermediate output. In gradient aggregation, individual gradients are randomly grouped and concatenated, often mixing unrelated failure modes and producing prompts that fail to generalize. To address these limitations, we propose AgentGrad, a prompt optimization framework for multi-agent systems based on sequential intervention and semantic textual gradient abstraction. For each failure, sequential intervention modifies the behavior of one agent at a time to identify the target agent whose modification resolves the failure. The modified output of the target agent then serves as agent-level supervision for extracting a fine-grained gradient. Semantic textual gradient abstraction clusters semantically similar gradients to prevent mixing unrelated failure modes, and abstracts each cluster into a generalized gradient that captures the shared corrective pattern. Experimental results show that AgentGrad achieves state-of-the-art performance across five MAS benchmarks and reduces wall-clock optimization time by 2.5times on average compared to the next-fastest baseline.