ADaPT: 언어 모델을 활용한 필요 기반 분해 및 계획

초록

대형 언어 모델(LLMs)은 계획 수립과 환경 적응이 필요한 인터랙티브 의사결정 작업에 점점 더 많이 활용되고 있다. 최근 연구에서는 LLMs를 에이전트로 활용하는 방식을 크게 두 가지로 구분한다: 반복적으로 다음 행동을 결정하는 방식(반복 실행자) 또는 LLMs를 사용하여 계획을 생성하고 하위 작업을 실행하는 방식(계획 후 실행). 그러나 이러한 방법들은 작업 복잡성에 대처하기 어려운데, 이는 어떤 하위 작업도 실행하지 못할 경우 작업 실패로 이어질 수 있기 때문이다. 이러한 단점을 해결하기 위해, 우리는 복잡한 작업을 필요에 따라 분해하고 계획하는 접근법인 As-Needed Decomposition and Planning for complex Tasks(ADaPT)를 제안한다. ADaPT는 LLM이 하위 작업을 실행할 수 없을 때 명시적으로 복잡한 하위 작업을 분해하고 계획한다. ADaPT는 작업 복잡성과 LLM의 능력에 적응하기 위해 하위 작업을 재귀적으로 분해한다. 우리의 실험 결과는 ADaPT가 기존의 강력한 베이스라인을 크게 능가하며, ALFWorld에서 최대 28.3%, WebShop에서 27%, 그리고 우리가 새로 소개한 구성적 데이터셋인 TextCraft에서 33% 더 높은 성공률을 달성함을 보여준다. 광범위한 분석을 통해, 우리는 다단계 분해의 중요성을 설명하고 ADaPT가 실행자 LLM의 능력과 작업 복잡성에 동적으로 적응함을 입증한다.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.

ADaPT: 언어 모델을 활용한 필요 기반 분해 및 계획

ADaPT: As-Needed Decomposition and Planning with Language Models

초록

Support