Effiziente Werkzeugnutzung durch Kette-der-Abstraktion-Denken

Zusammenfassung

Um eine zuverlässige Argumentation zu erreichen, die den menschlichen Erwartungen entspricht, müssen große Sprachmodelle (LLMs) ihre Argumentation auf reales Wissen stützen (z. B. Web-Fakten, mathematische und physikalische Regeln). Werkzeuge helfen LLMs, auf dieses externe Wissen zuzugreifen, aber es gibt weiterhin Herausforderungen bei der Feinabstimmung von LLM-Agenten (z. B. Toolformer), um Werkzeuge in mehrstufigen Argumentationsproblemen aufzurufen, bei denen miteinander verbundene Werkzeugaufrufe eine ganzheitliche und effiziente Planung der Werkzeugnutzung erfordern. In dieser Arbeit schlagen wir eine neue Methode vor, mit der LLMs Werkzeuge in mehrstufigen Argumentationen besser nutzen können. Unsere Methode, Chain-of-Abstraction (CoA), trainiert LLMs, zunächst Argumentationsketten mit abstrakten Platzhaltern zu dekodieren und dann domänenspezifische Werkzeuge aufzurufen, um jede Argumentationskette durch das Einfügen spezifischen Wissens zu konkretisieren. Diese Planung mit abstrakten Ketten ermöglicht es LLMs, allgemeinere Argumentationsstrategien zu erlernen, die robust gegenüber Verschiebungen des domänenspezifischen Wissens (z. B. mathematische Ergebnisse) sind, die für verschiedene Argumentationsfragen relevant sind. Sie ermöglicht es LLMs auch, die Dekodierung und den Aufruf externer Werkzeuge parallel durchzuführen, wodurch die Verzögerung bei der Inferenz vermieden wird, die durch das Warten auf Werkzeugantworten entsteht. In den Bereichen mathematische Argumentation und Wiki-QA zeigen wir, dass unsere Methode durchweg frühere Chain-of-Thought- und werkzeuggestützte Baselines sowohl auf In-Distribution- als auch auf Out-of-Distribution-Testsets übertrifft, mit einer durchschnittlichen Verbesserung der QA-Genauigkeit von ~6 % absolut. LLM-Agenten, die mit unserer Methode trainiert wurden, zeigen auch eine effizientere Werkzeugnutzung, wobei die Inferenzgeschwindigkeit im Durchschnitt ~1,4-mal schneller ist als bei werkzeuggestützten LLM-Baselines.

English

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

Effiziente Werkzeugnutzung durch Kette-der-Abstraktion-Denken

Efficient Tool Use with Chain-of-Abstraction Reasoning

Zusammenfassung

Support