ADaPT: Decomposição e Planejamento Sob Demanda com Modelos de Linguagem

ADaPT: As-Needed Decomposition and Planning with Language Models

November 8, 2023

Autores: Archiki Prasad, Alexander Koller, Mareike Hartmann, Peter Clark, Ashish Sabharwal, Mohit Bansal, Tushar Khot

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais utilizados para tarefas interativas de tomada de decisão que exigem planejamento e adaptação ao ambiente. Trabalhos recentes empregam LLMs como agentes de duas maneiras principais: determinando iterativamente a próxima ação (executores iterativos) ou gerando planos e executando sub-tarefas usando LLMs (planejar-e-executar). No entanto, esses métodos enfrentam dificuldades com a complexidade das tarefas, pois a incapacidade de executar qualquer sub-tarefa pode levar à falha da tarefa. Para abordar essas limitações, introduzimos a Decomposição e Planejamento Conforme Necessário para Tarefas Complexas (ADaPT), uma abordagem que planeja e decompõe explicitamente sub-tarefas complexas conforme necessário, ou seja, quando o LLM não consegue executá-las. O ADaPT decompõe recursivamente sub-tarefas para se adaptar tanto à complexidade da tarefa quanto à capacidade do LLM. Nossos resultados demonstram que o ADaPT supera substancialmente as linhas de base estabelecidas, alcançando taxas de sucesso até 28,3% maiores no ALFWorld, 27% no WebShop e 33% no TextCraft -- um novo conjunto de dados composicional que introduzimos. Por meio de uma análise extensa, ilustramos a importância da decomposição multinível e estabelecemos que o ADaPT ajusta-se dinamicamente às capacidades do LLM executor, bem como à complexidade da tarefa.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.