ProTIP: Progressieve Tool Retrieval Verbeterd Planning

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Auteurs: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Samenvatting

Grote taalmodellen (LLMs) worden steeds vaker ingezet voor complexe meerstaps plannings taken, waarbij de tool retrieval (TR) stap cruciaal is voor het behalen van succesvolle resultaten. Twee veelvoorkomende benaderingen voor TR zijn enkelstaps retrieval, waarbij de volledige query wordt gebruikt, en sequentiële retrieval met behulp van taakdecompositie (TD), waarbij een volledige query wordt opgedeeld in discrete atomische subtaken. Hoewel enkelstaps retrieval de flexibiliteit mist om "inter-tool afhankelijkheid" te hanteren, vereist de TD-benadering het behoud van "subtask-tool atomiciteit alignering", aangezien de toolbox dynamisch kan evolueren. Om deze beperkingen aan te pakken, introduceren we het Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is een lichtgewicht, op contrastief leren gebaseerd framework dat impliciet TD uitvoert zonder de expliciete behoefte aan subtask labels, terwijl het tegelijkertijd de subtask-tool atomiciteit behoudt. Op de ToolBench dataset overtreft ProTIP de op taakdecompositie gebaseerde aanpak van ChatGPT met een opmerkelijke marge, met een verbetering van 24% in Recall@K=10 voor TR en een verbetering van 41% in tool nauwkeurigheid voor planningsgeneratie.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.