ADaPT: Bedarfsgerechte Zerlegung und Planung mit Sprachmodellen

Zusammenfassung

Große Sprachmodelle (LLMs) werden zunehmend für interaktive Entscheidungsfindungsaufgaben eingesetzt, die Planung und Anpassung an die Umgebung erfordern. Aktuelle Arbeiten verwenden LLMs als Agenten im Wesentlichen auf zwei Arten: iteratives Bestimmen der nächsten Aktion (iterative Executoren) oder das Generieren von Plänen und das Ausführen von Teilaufgaben mithilfe von LLMs (Plan-and-Execute). Diese Methoden stoßen jedoch bei der Bewältigung von Aufgabenkomplexität an Grenzen, da die Unfähigkeit, eine Teilaufgabe auszuführen, zum Scheitern der gesamten Aufgabe führen kann. Um diese Schwächen zu beheben, stellen wir As-Needed Decomposition and Planning for Complex Tasks (ADaPT) vor, einen Ansatz, der komplexe Teilaufgaben explizit plant und bei Bedarf, d. h. wenn das LLM sie nicht ausführen kann, zerlegt. ADaPT zerlegt Teilaufgaben rekursiv, um sich sowohl an die Aufgabenkomplexität als auch an die Fähigkeiten des LLMs anzupassen. Unsere Ergebnisse zeigen, dass ADaPT etablierte starke Baselines deutlich übertrifft und Erfolgsraten von bis zu 28,3 % höher in ALFWorld, 27 % in WebShop und 33 % in TextCraft – einem neu eingeführten kompositionellen Datensatz – erreicht. Durch umfangreiche Analysen verdeutlichen wir die Bedeutung der mehrstufigen Zerlegung und zeigen, dass ADaPT sich dynamisch an die Fähigkeiten des ausführenden LLMs sowie an die Aufgabenkomplexität anpasst.

English

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.

ADaPT: Bedarfsgerechte Zerlegung und Planung mit Sprachmodellen

ADaPT: As-Needed Decomposition and Planning with Language Models

Zusammenfassung

Support