ProTIP: La Recuperación Progresiva de Herramientas Mejora la Planificación

ProTIP: Progressive Tool Retrieval Improves Planning

December 16, 2023

Autores: Raviteja Anantha, Bortik Bandyopadhyay, Anirudh Kashi, Sayantan Mahinder, Andrew W Hill, Srinivas Chappidi

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se emplean cada vez más para tareas de planificación complejas de múltiples pasos, donde la recuperación de herramientas (TR, por sus siglas en inglés) es crucial para lograr resultados exitosos. Dos enfoques predominantes para la TR son la recuperación de un solo paso, que utiliza la consulta completa, y la recuperación secuencial mediante descomposición de tareas (TD, por sus siglas en inglés), donde una consulta completa se segmenta en subtareas atómicas discretas. Mientras que la recuperación de un solo paso carece de la flexibilidad para manejar la "dependencia entre herramientas", el enfoque de TD requiere mantener la "alineación atómica entre subtareas y herramientas", ya que el conjunto de herramientas puede evolucionar dinámicamente. Para abordar estas limitaciones, presentamos el marco de Recuperación Progresiva de Herramientas para Mejorar la Planificación (ProTIP, por sus siglas en inglés). ProTIP es un marco ligero basado en aprendizaje contrastivo que realiza implícitamente la TD sin la necesidad explícita de etiquetas de subtareas, manteniendo simultáneamente la atomicidad entre subtareas y herramientas. En el conjunto de datos ToolBench, ProTIP supera notablemente al enfoque basado en descomposición de tareas de ChatGPT, logrando una mejora del 24% en Recall@K=10 para la TR y un aumento del 41% en la precisión de herramientas para la generación de planes.

English

Large language models (LLMs) are increasingly employed for complex multi-step planning tasks, where the tool retrieval (TR) step is crucial for achieving successful outcomes. Two prevalent approaches for TR are single-step retrieval, which utilizes the complete query, and sequential retrieval using task decomposition (TD), where a full query is segmented into discrete atomic subtasks. While single-step retrieval lacks the flexibility to handle "inter-tool dependency," the TD approach necessitates maintaining "subtask-tool atomicity alignment," as the toolbox can evolve dynamically. To address these limitations, we introduce the Progressive Tool retrieval to Improve Planning (ProTIP) framework. ProTIP is a lightweight, contrastive learning-based framework that implicitly performs TD without the explicit requirement of subtask labels, while simultaneously maintaining subtask-tool atomicity. On the ToolBench dataset, ProTIP outperforms the ChatGPT task decomposition-based approach by a remarkable margin, achieving a 24% improvement in Recall@K=10 for TR and a 41% enhancement in tool accuracy for plan generation.