ProTIP: Progressive Toolabruf verbessert die Planung

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Autoren: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden zunehmend für komplexe, mehrstufige Planungsaufgaben eingesetzt, wobei der Schritt der Werkzeugabfrage (Tool Retrieval, TR) entscheidend für den erfolgreichen Abschluss ist. Zwei verbreitete Ansätze für TR sind die einstufige Abfrage, bei der die vollständige Anfrage genutzt wird, und die sequenzielle Abfrage mittels Aufgabenzerlegung (Task Decomposition, TD), bei der eine vollständige Anfrage in diskrete atomare Teilaufgaben unterteilt wird. Während die einstufige Abfrage die Flexibilität fehlt, um „Inter-Tool-Abhängigkeiten“ zu handhaben, erfordert der TD-Ansatz die Aufrechterhaltung der „Teilaufgaben-Werkzeug-Atomaritäts-Ausrichtung“, da sich die Werkzeugauswahl dynamisch entwickeln kann. Um diese Einschränkungen zu überwinden, stellen wir das Progressive Tool Retrieval to Improve Planning (ProTIP)-Framework vor. ProTIP ist ein leichtgewichtiges, auf kontrastivem Lernen basierendes Framework, das implizit TD durchführt, ohne explizit Teilaufgabenlabels zu benötigen, und gleichzeitig die Teilaufgaben-Werkzeug-Atomarität beibehält. Auf dem ToolBench-Datensatz übertrifft ProTIP den auf ChatGPT basierenden TD-Ansatz deutlich, mit einer Verbesserung von 24 % bei Recall@K=10 für TR und einer Steigerung von 41 % bei der Werkzeuggenauigkeit für die Planerstellung.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.