MPO: メタプラン最適化によるLLMエージェントの強化

MPO: Boosting LLM Agents with Meta Plan Optimization

March 4, 2025

著者: Weimin Xiong, Yifan Song, Qingxiu Dong, Bingchan Zhao, Feifan Song, Xun Wang, Sujian Li

cs.AI

要旨

大規模言語モデル（LLM）の最近の進歩により、LLMベースのエージェントがインタラクティブな計画タスクを成功裏に処理できるようになりました。しかし、その成功にもかかわらず、既存のアプローチは計画の幻覚（planning hallucinations）に悩まされることが多く、新しいエージェントごとに再学習が必要です。これらの課題に対処するため、我々はメタ計画最適化（Meta Plan Optimization, MPO）フレームワークを提案します。MPOは、明示的なガイダンスを直接組み込むことでエージェントの計画能力を強化します。従来の方法とは異なり、MPOは複雑な知識に依存せず、人間の多大な労力を必要とするか、品質保証が欠如しているような問題を回避します。代わりに、MPOはメタ計画を通じて高レベルの一般的なガイダンスを活用し、エージェントの計画を支援するとともに、エージェントのタスク実行からのフィードバックに基づいてメタ計画を継続的に最適化します。2つの代表的なタスクで実施した実験により、MPOが既存のベースラインを大幅に上回ることが示されました。さらに、分析の結果、MPOはプラグアンドプレイのソリューションとして、タスク完了効率と未経験シナリオにおける汎化能力の両方を向上させることが明らかになりました。

English

Recent advancements in large language models (LLMs) have enabled LLM-based agents to successfully tackle interactive planning tasks. However, despite their successes, existing approaches often suffer from planning hallucinations and require retraining for each new agent. To address these challenges, we propose the Meta Plan Optimization (MPO) framework, which enhances agent planning capabilities by directly incorporating explicit guidance. Unlike previous methods that rely on complex knowledge, which either require significant human effort or lack quality assurance, MPO leverages high-level general guidance through meta plans to assist agent planning and enables continuous optimization of the meta plans based on feedback from the agent's task execution. Our experiments conducted on two representative tasks demonstrate that MPO significantly outperforms existing baselines. Moreover, our analysis indicates that MPO provides a plug-and-play solution that enhances both task completion efficiency and generalization capabilities in previous unseen scenarios.