ProTIP：漸進的ツール検索による計画の改善

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

著者: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

要旨

大規模言語モデル（LLMs）は、複雑な多段階計画タスクにますます利用されており、その中でもツール検索（TR）ステップは成功を収める上で極めて重要である。TRのための2つの主要なアプローチとして、完全なクエリを利用する単一ステップ検索と、タスク分解（TD）を用いた逐次検索がある。後者では、完全なクエリが個別の原子サブタスクに分割される。単一ステップ検索は「ツール間依存性」を柔軟に扱う能力に欠ける一方、TDアプローチでは、ツールボックスが動的に進化するため「サブタスク-ツール原子性の整合性」を維持する必要がある。これらの制約を解決するため、我々はProgressive Tool retrieval to Improve Planning（ProTIP）フレームワークを提案する。ProTIPは、軽量で対照学習に基づくフレームワークであり、サブタスクラベルを明示的に必要とせずに暗黙的にTDを実行しつつ、サブタスク-ツール原子性を同時に維持する。ToolBenchデータセットにおいて、ProTIPはChatGPTのタスク分解ベースのアプローチを大きく上回り、TRにおけるRecall@K=10で24%の向上、計画生成におけるツール精度で41%の改善を達成した。

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.