大規模言語モデルをプランニングドメイン生成器として

Large Language Models as Planning Domain Generators

April 2, 2024

著者: James Oswald, Kavitha Srinivas, Harsha Kokel, Junkyu Lee, Michael Katz, Shirin Sohrabi

cs.AI

要旨

ドメインモデルの開発は、AIプランニングにおいて依然として手作業が必要とされる数少ない領域の一つです。そのため、プランニングをよりアクセスしやすくするために、ドメインモデル生成のプロセスを自動化することが望ましいと考えられます。この目的のために、大規模言語モデル（LLM）が単純なテキスト記述からプランニングドメインモデルを生成できるかどうかを調査します。具体的には、ドメインインスタンスのプランセットを比較することで、LLMが生成したドメインを自動評価するフレームワークを導入します。最後に、7つの大規模言語モデル（コーディングモデルとチャットモデルを含む）を、9つの異なるプランニングドメインと3つのクラスの自然言語ドメイン記述に対して実証分析を行います。その結果、特にパラメータ数が多いLLMは、自然言語記述から正しいプランニングドメインを生成する能力において中程度の熟練度を示すことが明らかになりました。私たちのコードはhttps://github.com/IBM/NL2PDDLで公開されています。

English

Developing domain models is one of the few remaining places that require manual human labor in AI planning. Thus, in order to make planning more accessible, it is desirable to automate the process of domain model generation. To this end, we investigate if large language models (LLMs) can be used to generate planning domain models from simple textual descriptions. Specifically, we introduce a framework for automated evaluation of LLM-generated domains by comparing the sets of plans for domain instances. Finally, we perform an empirical analysis of 7 large language models, including coding and chat models across 9 different planning domains, and under three classes of natural language domain descriptions. Our results indicate that LLMs, particularly those with high parameter counts, exhibit a moderate level of proficiency in generating correct planning domains from natural language descriptions. Our code is available at https://github.com/IBM/NL2PDDL.