ADaPT: Пошаговая декомпозиция и планирование с использованием языковых моделей по мере необходимости

ADaPT: As-Needed Decomposition and Planning with Language Models

November 8, 2023

Авторы: Archiki Prasad, Alexander Koller, Mareike Hartmann, Peter Clark, Ashish Sabharwal, Mohit Bansal, Tushar Khot

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще используются для интерактивных задач принятия решений, требующих планирования и адаптации к окружающей среде. В последних работах LLM применяются в качестве агентов двумя основными способами: итеративное определение следующего действия (итеративные исполнители) или генерация планов и выполнение подзадач с использованием LLM (планирование и выполнение). Однако эти методы сталкиваются с трудностями при работе со сложными задачами, так как неспособность выполнить любую подзадачу может привести к провалу задачи. Для устранения этих недостатков мы представляем подход As-Needed Decomposition and Planning for complex Tasks (ADaPT), который явно планирует и декомпозирует сложные подзадачи по мере необходимости, то есть когда LLM не может их выполнить. ADaPT рекурсивно декомпозирует подзадачи, адаптируясь как к сложности задачи, так и к возможностям LLM. Наши результаты показывают, что ADaPT значительно превосходит установленные сильные базовые методы, достигая показателей успешности на 28,3% выше в ALFWorld, на 27% в WebShop и на 33% в TextCraft — новом композиционном наборе данных, который мы представляем. В ходе детального анализа мы демонстрируем важность многоуровневой декомпозиции и показываем, что ADaPT динамически адаптируется как к возможностям исполнительной LLM, так и к сложности задачи.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.