Destillieren von LLM-Agenten in kleine Modelle mit Retrieval- und Code-Tools

Distilling LLM Agent into Small Models with Retrieval and Code Tools

May 23, 2025

papers.authors: Minki Kang, Jongwon Jeong, Seanie Lee, Jaewoong Cho, Sung Ju Hwang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) zeichnen sich durch komplexe Denkfähigkeiten aus, bleiben jedoch rechenintensiv, was ihre praktische Anwendung einschränkt. Um dies zu adressieren, haben sich aktuelle Arbeiten darauf konzentriert, die Denkfähigkeiten in kleinere Sprachmodelle (sLMs) zu destillieren, indem sie Chain-of-Thought (CoT)-Spuren von Lehrer-LLMs verwenden. Dieser Ansatz stößt jedoch an Grenzen in Szenarien, die seltenes Faktenwissen oder präzise Berechnungen erfordern, wo sLMs aufgrund ihrer begrenzten Fähigkeiten oft Halluzinationen erzeugen. In dieser Arbeit schlagen wir Agent Distillation vor, ein Framework, das nicht nur die Denkfähigkeit, sondern das gesamte Aufgabenlösungsverhalten von LLM-basierten Agenten in sLMs mit Retrieval- und Code-Tools überträgt. Wir verbessern die Agent-Destillation entlang zweier komplementärer Achsen: (1) Wir führen eine Prompting-Methode namens First-Thought Prefix ein, um die Qualität der vom Lehrer generierten Trajektorien zu steigern; und (2) wir schlagen eine selbstkonsistente Aktionsgenerierung vor, um die Robustheit kleiner Agenten zur Testzeit zu verbessern. Wir evaluieren unsere Methode an acht Denkaufgaben aus faktischen und mathematischen Domänen, die sowohl In-Domain- als auch Out-of-Domain-Generalisierung abdecken. Unsere Ergebnisse zeigen, dass sLMs mit nur 0,5B, 1,5B und 3B Parametern eine Leistung erzielen können, die mit der nächstgrößeren Modellklasse von 1,5B, 3B und 7B Parametern, die mit CoT-Destillation feinabgestimmt wurden, konkurriert. Dies demonstriert das Potenzial der Agent-Destillation für die Entwicklung praktischer, toolnutzender kleiner Agenten. Unser Code ist verfügbar unter https://github.com/Nardien/agent-distillation.

English

Large language models (LLMs) excel at complex reasoning tasks but remain computationally expensive, limiting their practical deployment. To address this, recent works have focused on distilling reasoning capabilities into smaller language models (sLMs) using chain-of-thought (CoT) traces from teacher LLMs. However, this approach struggles in scenarios requiring rare factual knowledge or precise computation, where sLMs often hallucinate due to limited capability. In this work, we propose Agent Distillation, a framework for transferring not only reasoning capability but full task-solving behavior from LLM-based agents into sLMs with retrieval and code tools. We improve agent distillation along two complementary axes: (1) we introduce a prompting method called first-thought prefix to enhance the quality of teacher-generated trajectories; and (2) we propose a self-consistent action generation for improving test-time robustness of small agents. We evaluate our method on eight reasoning tasks across factual and mathematical domains, covering both in-domain and out-of-domain generalization. Our results show that sLMs as small as 0.5B, 1.5B, 3B parameters can achieve performance competitive with next-tier larger 1.5B, 3B, 7B models fine-tuned using CoT distillation, demonstrating the potential of agent distillation for building practical, tool-using small agents. Our code is available at https://github.com/Nardien/agent-distillation.