NATURAL PLAN: 自然言語プランニングにおけるLLMのベンチマーキング

NATURAL PLAN: Benchmarking LLMs on Natural Language Planning

June 6, 2024

著者: Huaixiu Steven Zheng, Swaroop Mishra, Hugh Zhang, Xinyun Chen, Minmin Chen, Azade Nova, Le Hou, Heng-Tze Cheng, Quoc V. Le, Ed H. Chi, Denny Zhou

cs.AI

要旨

私たちは、自然言語における現実的な計画立案ベンチマーク「NATURAL PLAN」を紹介します。このベンチマークは、旅行計画、会議計画、カレンダースケジューリングという3つの主要なタスクを含んでいます。評価では、Google Flights、Google Maps、Google Calendarなどのツールからの出力をモデルへのコンテキストとして提供し、タスクに関する完全な情報を持つ大規模言語モデル（LLM）の計画立案能力に焦点を当てています。これにより、計画立案におけるLLMの評価のためにツール使用環境を必要としなくなります。私たちは、NATURAL PLANが最先端のモデルにとって挑戦的なベンチマークであることを観察しました。例えば、旅行計画において、GPT-4とGemini 1.5 Proはそれぞれ31.1%と34.8%の解決率しか達成できませんでした。問題の複雑さが増すにつれてモデルの性能が急激に低下することも明らかになりました。10都市の場合、すべてのモデルの性能は5%未満であり、自然言語における計画立案において最先端のLLMに大きなギャップがあることが浮き彫りになりました。さらに、NATURAL PLANにおいて、自己修正、少数ショット汎化、長文脈を用いたインコンテキスト計画立案といったアプローチの（非）有効性を明らかにするために、広範なアブレーションスタディも実施しました。

English

We introduce NATURAL PLAN, a realistic planning benchmark in natural language containing 3 key tasks: Trip Planning, Meeting Planning, and Calendar Scheduling. We focus our evaluation on the planning capabilities of LLMs with full information on the task, by providing outputs from tools such as Google Flights, Google Maps, and Google Calendar as contexts to the models. This eliminates the need for a tool-use environment for evaluating LLMs on Planning. We observe that NATURAL PLAN is a challenging benchmark for state of the art models. For example, in Trip Planning, GPT-4 and Gemini 1.5 Pro could only achieve 31.1% and 34.8% solve rate respectively. We find that model performance drops drastically as the complexity of the problem increases: all models perform below 5% when there are 10 cities, highlighting a significant gap in planning in natural language for SoTA LLMs. We also conduct extensive ablation studies on NATURAL PLAN to further shed light on the (in)effectiveness of approaches such as self-correction, few-shot generalization, and in-context planning with long-contexts on improving LLM planning.