ProTIP: Il Recupero Progressivo degli Strumenti Migliora la Pianificazione

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Autori: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati per compiti di pianificazione complessi e multi-step, in cui il passaggio di recupero degli strumenti (TR) è cruciale per ottenere risultati di successo. Due approcci prevalenti per il TR sono il recupero a singolo step, che utilizza la query completa, e il recupero sequenziale basato sulla scomposizione del task (TD), in cui una query completa viene segmentata in sottotask atomici discreti. Mentre il recupero a singolo step manca della flessibilità necessaria per gestire la "dipendenza inter-strumenti", l'approccio TD richiede di mantenere l'"allineamento atomicità sottotask-strumenti", poiché la toolbox può evolversi dinamicamente. Per affrontare queste limitazioni, introduciamo il framework Progressive Tool retrieval to Improve Planning (ProTIP). ProTIP è un framework leggero basato sull'apprendimento contrastivo che esegue implicitamente la TD senza la necessità esplicita di etichette per i sottotask, mantenendo contemporaneamente l'atomicità sottotask-strumenti. Sul dataset ToolBench, ProTIP supera l'approccio basato sulla scomposizione del task di ChatGPT con un margine significativo, ottenendo un miglioramento del 24% nel Recall@K=10 per il TR e un incremento del 41% nell'accuratezza degli strumenti per la generazione del piano.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.