Efficiënt gebruik van gereedschappen met keten-van-abstractie redenering

Samenvatting

Om betrouwbare redenering te bereiken die aansluit bij menselijke verwachtingen, moeten grote taalmodellen (LLMs) hun redenering verankeren in kennis van de echte wereld (bijv. web-feiten, wiskundige en natuurkundige regels). Tools helpen LLMs om toegang te krijgen tot deze externe kennis, maar er blijven uitdagingen bestaan bij het finetunen van LLM-agents (bijv. Toolformer) om tools aan te roepen in meerstaps redeneerproblemen, waarbij onderling verbonden tool-aanroepen een holistische en efficiënte planning van toolgebruik vereisen. In dit werk stellen we een nieuwe methode voor waarmee LLMs tools beter kunnen benutten in meerstaps redenering. Onze methode, Chain-of-Abstraction (CoA), traint LLMs om eerst redeneerketens te decoderen met abstracte plaatshouders, en vervolgens domeintools aan te roepen om elke redeneerketen te concretiseren door specifieke kennis in te vullen. Deze planning met abstracte ketens stelt LLMs in staat om meer algemene redeneerstrategieën te leren, die robuust zijn tegen verschuivingen in domeinkennis (bijv. wiskundige resultaten) die relevant zijn voor verschillende redeneervragen. Het stelt LLMs ook in staat om het decoderen en aanroepen van externe tools parallel uit te voeren, wat de inferentievertraging vermijdt die wordt veroorzaakt door het wachten op toolresponsen. In wiskundige redeneer- en Wiki QA-domeinen laten we zien dat onze methode consistent beter presteert dan eerdere chain-of-thought en tool-augmented baselines op zowel in-distributie als out-of-distributie test sets, met een gemiddelde ~6% absolute QA-nauwkeurigheidsverbetering. LLM-agents die met onze methode zijn getraind, tonen ook een efficiënter toolgebruik, waarbij de inferentiesnelheid gemiddeld ~1,4x sneller is dan baseline tool-augmented LLMs.

English

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

Efficiënt gebruik van gereedschappen met keten-van-abstractie redenering

Efficient Tool Use with Chain-of-Abstraction Reasoning

Samenvatting

Support