ADaPT: Descomposición y Planificación según Necesidad con Modelos de Lenguaje

ADaPT: As-Needed Decomposition and Planning with Language Models

November 8, 2023

Autores: Archiki Prasad, Alexander Koller, Mareike Hartmann, Peter Clark, Ashish Sabharwal, Mohit Bansal, Tushar Khot

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se están utilizando cada vez más para tareas de toma de decisiones interactivas que requieren planificación y adaptación al entorno. Trabajos recientes emplean LLMs como agentes principalmente de dos maneras: determinando iterativamente la siguiente acción (ejecutores iterativos) o generando planes y ejecutando sub-tareas utilizando LLMs (planificar y ejecutar). Sin embargo, estos métodos enfrentan dificultades con la complejidad de las tareas, ya que la incapacidad de ejecutar cualquier sub-tarea puede llevar al fracaso de la tarea. Para abordar estas limitaciones, presentamos Descomposición y Planificación Según Necesidad para Tareas Complejas (ADaPT, por sus siglas en inglés), un enfoque que planifica y descompone explícitamente sub-tareas complejas según sea necesario, es decir, cuando el LLM no puede ejecutarlas. ADaPT descompone recursivamente las sub-tareas para adaptarse tanto a la complejidad de la tarea como a la capacidad del LLM. Nuestros resultados demuestran que ADaPT supera sustancialmente líneas de base establecidas, logrando tasas de éxito hasta un 28.3% más altas en ALFWorld, un 27% en WebShop y un 33% en TextCraft — un nuevo conjunto de datos composicional que introducimos. A través de un análisis extenso, ilustramos la importancia de la descomposición multinivel y establecemos que ADaPT se ajusta dinámicamente a las capacidades del LLM ejecutor, así como a la complejidad de la tarea.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.