ProTIP: 점진적 도구 검색을 통한 계획 개선

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

저자: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

초록

대형 언어 모델(LLMs)은 복잡한 다단계 계획 작업에 점점 더 많이 활용되고 있으며, 이러한 작업에서 도구 검색(TR) 단계는 성공적인 결과를 달성하는 데 중요한 역할을 합니다. TR을 위한 두 가지 주요 접근 방식은 전체 쿼리를 활용하는 단일 단계 검색과 작업 분해(TD)를 사용한 순차적 검색입니다. 후자의 경우 전체 쿼리를 개별적인 원자적 하위 작업으로 분할합니다. 단일 단계 검색은 "도구 간 의존성"을 처리하는 데 유연성이 부족한 반면, TD 접근 방식은 도구 상자가 동적으로 변화할 수 있기 때문에 "하위 작업-도구 원자성 정렬"을 유지해야 합니다. 이러한 한계를 해결하기 위해, 우리는 점진적 도구 검색을 통해 계획을 개선하는 ProTIP(Progressive Tool retrieval to Improve Planning) 프레임워크를 제안합니다. ProTIP은 하위 작업 레이블을 명시적으로 요구하지 않으면서도 TD를 암묵적으로 수행하고, 동시에 하위 작업-도구 원자성을 유지하는 경량의 대조 학습 기반 프레임워크입니다. ToolBench 데이터셋에서 ProTIP은 ChatGPT의 작업 분해 기반 접근 방식을 크게 능가하며, TR에서 Recall@K=10 기준 24%의 향상을, 계획 생성에서 도구 정확도 41%의 개선을 달성했습니다.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.