Uso Eficiente de Ferramentas com Raciocínio em Cadeia de Abstração

Resumo

Para alcançar um raciocínio fiel que esteja alinhado com as expectativas humanas, os grandes modelos de linguagem (LLMs) precisam fundamentar seu raciocínio em conhecimentos do mundo real (por exemplo, fatos da web, regras matemáticas e físicas). Ferramentas ajudam os LLMs a acessar esse conhecimento externo, mas ainda existem desafios para ajustar finamente agentes LLMs (por exemplo, Toolformer) para invocar ferramentas em problemas de raciocínio de múltiplos passos, onde chamadas de ferramentas interconectadas exigem um planejamento holístico e eficiente do uso de ferramentas. Neste trabalho, propomos um novo método para que os LLMs aproveitem melhor as ferramentas em raciocínios de múltiplos passos. Nosso método, Chain-of-Abstraction (CoA), treina os LLMs para primeiro decodificar cadeias de raciocínio com espaços reservados abstratos e, em seguida, chamar ferramentas de domínio para concretizar cada cadeia de raciocínio, preenchendo com conhecimentos específicos. Esse planejamento com cadeias abstratas permite que os LLMs aprendam estratégias de raciocínio mais gerais, que são robustas a mudanças no conhecimento de domínio (por exemplo, resultados matemáticos) relevantes para diferentes questões de raciocínio. Também permite que os LLMs realizem a decodificação e a chamada de ferramentas externas em paralelo, evitando o atraso na inferência causado pela espera pelas respostas das ferramentas. Nos domínios de raciocínio matemático e Wiki QA, mostramos que nosso método supera consistentemente as abordagens anteriores de cadeia de pensamento e baselines aumentadas por ferramentas, tanto em conjuntos de teste dentro da distribuição quanto fora dela, com uma melhoria média de ~6% na precisão absoluta de QA. Agentes LLMs treinados com nosso método também demonstram um uso mais eficiente de ferramentas, com a velocidade de inferência sendo em média ~1,4x mais rápida do que os LLMs baselines aumentados por ferramentas.

English

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

Uso Eficiente de Ferramentas com Raciocínio em Cadeia de Abstração

Efficient Tool Use with Chain-of-Abstraction Reasoning

Resumo

Support