Uso Efficiente degli Strumenti con Ragionamento a Catena di Astrazioni

Abstract

Per ottenere un ragionamento fedele che si allinei con le aspettative umane, i grandi modelli linguistici (LLM) devono ancorare il loro ragionamento a conoscenze del mondo reale (ad esempio, fatti web, regole matematiche e fisiche). Gli strumenti aiutano gli LLM ad accedere a questa conoscenza esterna, ma rimangono sfide per il fine-tuning degli agenti LLM (ad esempio, Toolformer) per invocare strumenti in problemi di ragionamento a più passaggi, dove chiamate di strumenti interconnesse richiedono una pianificazione olistica ed efficiente dell'uso degli strumenti. In questo lavoro, proponiamo un nuovo metodo affinché gli LLM possano sfruttare meglio gli strumenti nel ragionamento a più passaggi. Il nostro metodo, Chain-of-Abstraction (CoA), addestra gli LLM a decodificare prima catene di ragionamento con segnaposto astratti, e poi a chiamare strumenti di dominio per concretizzare ogni catena di ragionamento riempiendo conoscenze specifiche. Questa pianificazione con catene astratte consente agli LLM di apprendere strategie di ragionamento più generali, che sono robuste ai cambiamenti di conoscenza di dominio (ad esempio, risultati matematici) rilevanti per diverse domande di ragionamento. Permette inoltre agli LLM di eseguire la decodifica e la chiamata di strumenti esterni in parallelo, evitando il ritardo di inferenza causato dall'attesa delle risposte degli strumenti. Nei domini del ragionamento matematico e delle domande Wiki QA, dimostriamo che il nostro metodo supera costantemente i precedenti baseline di catena di pensiero e strumenti aumentati sia su set di test in-distribuzione che out-of-distribution, con un miglioramento medio di ~6% in termini di accuratezza assoluta nelle risposte. Gli agenti LLM addestrati con il nostro metodo mostrano anche un uso più efficiente degli strumenti, con una velocità di inferenza in media ~1,4 volte più veloce rispetto ai baseline di LLM aumentati con strumenti.

English

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

Uso Efficiente degli Strumenti con Ragionamento a Catena di Astrazioni

Efficient Tool Use with Chain-of-Abstraction Reasoning

Abstract

Support