ADaPT: Scomposizione e Pianificazione su Richiesta con Modelli Linguistici

ADaPT: As-Needed Decomposition and Planning with Language Models

November 8, 2023

Autori: Archiki Prasad, Alexander Koller, Mareike Hartmann, Peter Clark, Ashish Sabharwal, Mohit Bansal, Tushar Khot

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati per compiti decisionali interattivi che richiedono pianificazione e adattamento all'ambiente. Recenti lavori impiegano gli LLM come agenti principalmente in due modi: determinando iterativamente l'azione successiva (esecutori iterativi) o generando piani ed eseguendo sotto-compiti utilizzando gli LLM (pianifica-e-esegui). Tuttavia, questi metodi faticano a gestire la complessità dei compiti, poiché l'incapacità di eseguire qualsiasi sotto-compito può portare al fallimento del compito. Per affrontare queste carenze, introduciamo As-Needed Decomposition and Planning for complex Tasks (ADaPT), un approccio che pianifica e scompone esplicitamente i sotto-compiti complessi solo quando necessario, cioè quando l'LLM non è in grado di eseguirli. ADaPT scompone ricorsivamente i sotto-compiti per adattarsi sia alla complessità del compito che alle capacità dell'LLM. I nostri risultati dimostrano che ADaPT supera significativamente i benchmark consolidati, raggiungendo tassi di successo fino al 28,3% più alti in ALFWorld, 27% in WebShop e 33% in TextCraft -- un nuovo dataset composizionale che introduciamo. Attraverso un'analisi approfondita, illustriamo l'importanza della scomposizione multilivello e dimostriamo che ADaPT si adatta dinamicamente alle capacità dell'LLM esecutore e alla complessità del compito.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.