ProTIP: Прогрессивное извлечение инструментов улучшает планирование

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Авторы: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Аннотация

Крупные языковые модели (LLMs) всё чаще применяются для решения сложных многошаговых задач планирования, где этап извлечения инструментов (Tool Retrieval, TR) играет ключевую роль в достижении успешных результатов. Два распространённых подхода к TR — это одношаговое извлечение, использующее полный запрос, и последовательное извлечение с использованием декомпозиции задачи (Task Decomposition, TD), при котором полный запрос разбивается на отдельные атомарные подзадачи. В то время как одношаговое извлечение не обладает гибкостью для обработки «зависимостей между инструментами», подход TD требует соблюдения «соответствия атомарности подзадач и инструментов», так как набор инструментов может динамически изменяться. Для устранения этих ограничений мы представляем прогрессивный фреймворк извлечения инструментов для улучшения планирования (Progressive Tool retrieval to Improve Planning, ProTIP). ProTIP — это лёгкий фреймворк, основанный на контрастивном обучении, который неявно выполняет декомпозицию задачи без явного требования меток подзадач, одновременно сохраняя атомарность подзадач и инструментов. На наборе данных ToolBench ProTIP значительно превосходит подход, основанный на декомпозиции задач ChatGPT, демонстрируя улучшение на 24% по метрике Recall@K=10 для TR и на 41% по точности использования инструментов для генерации планов.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.