ProTIP: Recuperação Progressiva de Ferramentas Melhora o Planejamento

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Autores: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais empregados para tarefas complexas de planejamento em múltiplas etapas, onde a etapa de recuperação de ferramentas (TR) é crucial para alcançar resultados bem-sucedidos. Duas abordagens predominantes para TR são a recuperação em etapa única, que utiliza a consulta completa, e a recuperação sequencial usando decomposição de tarefas (TD), onde uma consulta completa é segmentada em subtarefas atômicas discretas. Enquanto a recuperação em etapa única carece da flexibilidade para lidar com a "dependência entre ferramentas", a abordagem TD exige a manutenção do "alinhamento de atomicidade subtarefa-ferramenta", já que o conjunto de ferramentas pode evoluir dinamicamente. Para abordar essas limitações, introduzimos o framework Progressive Tool retrieval to Improve Planning (ProTIP). O ProTIP é um framework leve baseado em aprendizado contrastivo que realiza implicitamente a TD sem a necessidade explícita de rótulos de subtarefas, mantendo simultaneamente a atomicidade subtarefa-ferramenta. No conjunto de dados ToolBench, o ProTIP supera a abordagem baseada em decomposição de tarefas do ChatGPT por uma margem notável, alcançando uma melhoria de 24% em Recall@K=10 para TR e um aumento de 41% na precisão de ferramentas para geração de planos.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.