대형 언어 모델을 플래닝 도메인 생성기로 활용하기

Large Language Models as Planning Domain Generators

April 2, 2024

저자: James Oswald, Kavitha Srinivas, Harsha Kokel, Junkyu Lee, Michael Katz, Shirin Sohrabi

cs.AI

초록

도메인 모델 개발은 AI 계획 수립에서 여전히 수동적인 인간 노동이 필요한 몇 안 되는 영역 중 하나입니다. 따라서 계획 수립을 더욱 접근 가능하게 만들기 위해 도메인 모델 생성 과정을 자동화하는 것이 바람직합니다. 이를 위해 우리는 대규모 언어 모델(LLM)이 간단한 텍스트 설명으로부터 계획 도메인 모델을 생성하는 데 사용될 수 있는지 조사합니다. 구체적으로, 우리는 도메인 인스턴스에 대한 계획 집합을 비교함으로써 LLM 생성 도메인의 자동 평가를 위한 프레임워크를 소개합니다. 마지막으로, 우리는 코딩 및 채팅 모델을 포함한 7개의 대규모 언어 모델에 대해 9개의 서로 다른 계획 도메인과 세 가지 유형의 자연어 도메인 설명 하에서 실증적 분석을 수행합니다. 우리의 결과는 특히 높은 파라미터 수를 가진 LLM이 자연어 설명으로부터 정확한 계획 도메인을 생성하는 데 중간 수준의 숙련도를 보인다는 것을 나타냅니다. 우리의 코드는 https://github.com/IBM/NL2PDDL에서 확인할 수 있습니다.

English

Developing domain models is one of the few remaining places that require manual human labor in AI planning. Thus, in order to make planning more accessible, it is desirable to automate the process of domain model generation. To this end, we investigate if large language models (LLMs) can be used to generate planning domain models from simple textual descriptions. Specifically, we introduce a framework for automated evaluation of LLM-generated domains by comparing the sets of plans for domain instances. Finally, we perform an empirical analysis of 7 large language models, including coding and chat models across 9 different planning domains, and under three classes of natural language domain descriptions. Our results indicate that LLMs, particularly those with high parameter counts, exhibit a moderate level of proficiency in generating correct planning domains from natural language descriptions. Our code is available at https://github.com/IBM/NL2PDDL.