ダイナソー：事前定義されたアクションを超える大規模言語エージェント

DynaSaur: Large Language Agents Beyond Predefined Actions

November 4, 2024

著者: Dang Nguyen, Viet Dac Lai, Seunghyun Yoon, Ryan A. Rossi, Handong Zhao, Ruiyi Zhang, Puneet Mathur, Nedim Lipka, Yu Wang, Trung Bui, Franck Dernoncourt, Tianyi Zhou

cs.AI

要旨

既存のLLMエージェントシステムは通常、各ステップで固定および事前定義されたセットからアクションを選択します。このアプローチは閉じられた、狭い範囲の環境では効果的ですが、LLMエージェントを実世界のシナリオに展開する際には、2つの主要な課題が生じると主張します。第1に、固定されたアクションセットから選択することは、LLMエージェントの計画および行動能力を著しく制限する。第2に、このアプローチは、潜在的なアクションの数が膨大な複雑な環境において、すべての可能なアクションを列挙して実装するために膨大な人間の労力を必要とするため、実用的ではありません。本研究では、オンラインでアクションの動的作成および組み合わせを可能にするLLMエージェントフレームワークを提案します。このフレームワークでは、エージェントは各ステップで一般的なプログラミング言語で書かれたプログラムを生成および実行することで環境と対話します。さらに、生成されたアクションは将来の再利用のために時間とともに蓄積されます。GAIAベンチマークでの幅広い実験により、このフレームワークが大幅な柔軟性を提供し、以前の手法を凌駕することが示されました。特筆すべきは、LLMエージェントが事前定義されたセットに関連するアクションが存在しない場合や既存のアクションが予期せぬエッジケースによって失敗した場合に、シナリオで回復できることです。執筆時点では、GAIAのパブリックリーダーボードでトップの位置を維持しています。当該コードは以下で入手可能です：https://github.com/adobe-research/dynasaur{https://github.com/adobe-research/dynasaur}。

English

Existing LLM agent systems typically select actions from a fixed and predefined set at every step. While this approach is effective in closed, narrowly-scoped environments, we argue that it presents two major challenges when deploying LLM agents in real-world scenarios: (1) selecting from a fixed set of actions significantly restricts the planning and acting capabilities of LLM agents, and (2) this approach requires substantial human effort to enumerate and implement all possible actions, which becomes impractical in complex environments with a vast number of potential actions. In this work, we propose an LLM agent framework that enables the dynamic creation and composition of actions in an online manner. In this framework, the agent interacts with the environment by generating and executing programs written in a general-purpose programming language at each step. Furthermore, generated actions are accumulated over time for future reuse. Our extensive experiments on the GAIA benchmark demonstrate that this framework offers significantly greater flexibility and outperforms previous methods. Notably, it allows an LLM agent to recover in scenarios where no relevant action exists in the predefined set or when existing actions fail due to unforeseen edge cases. At the time of writing, we hold the top position on the GAIA public leaderboard. Our code can be found in https://github.com/adobe-research/dynasaur{https://github.com/adobe-research/dynasaur}.