ProTIP : La récupération progressive d’outils améliore la planification

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

papers.authors: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) sont de plus en plus utilisés pour des tâches de planification complexes en plusieurs étapes, où l'étape de récupération d'outils (TR) est cruciale pour obtenir des résultats réussis. Deux approches prédominantes pour la TR sont la récupération en une seule étape, qui utilise la requête complète, et la récupération séquentielle basée sur la décomposition de tâches (TD), où une requête complète est segmentée en sous-tâches atomiques discrètes. Alors que la récupération en une seule étape manque de flexibilité pour gérer la "dépendance inter-outils", l'approche TD nécessite de maintenir l'"alignement atomique sous-tâche-outil", car la boîte à outils peut évoluer dynamiquement. Pour répondre à ces limitations, nous introduisons le cadre Progressive Tool retrieval to Improve Planning (ProTIP). ProTIP est un cadre léger basé sur l'apprentissage contrastif qui effectue implicitement la TD sans nécessiter d'étiquettes explicites de sous-tâches, tout en maintenant l'atomicité sous-tâche-outil. Sur le jeu de données ToolBench, ProTIP surpasse l'approche basée sur la décomposition de tâches de ChatGPT avec une marge remarquable, atteignant une amélioration de 24 % en Recall@K=10 pour la TR et une amélioration de 41 % en précision des outils pour la génération de plans.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.