Дистилляция агента на основе больших языковых моделей в малые модели с использованием инструментов поиска и кода

Distilling LLM Agent into Small Models with Retrieval and Code Tools

May 23, 2025

Авторы: Minki Kang, Jongwon Jeong, Seanie Lee, Jaewoong Cho, Sung Ju Hwang

cs.AI

Аннотация

Крупные языковые модели (LLM) превосходно справляются со сложными задачами логического рассуждения, но остаются вычислительно затратными, что ограничивает их практическое применение. Для решения этой проблемы в последних работах основное внимание уделяется дистилляции способностей к рассуждению в более мелкие языковые модели (sLM) с использованием цепочек рассуждений (CoT), полученных от учителей-LLM. Однако этот подход сталкивается с трудностями в сценариях, требующих редких фактологических знаний или точных вычислений, где sLM часто генерируют недостоверную информацию из-за ограниченных возможностей. В данной работе мы предлагаем фреймворк Agent Distillation, который позволяет передавать не только способность к рассуждению, но и полное поведение по решению задач от агентов на основе LLM в sLM, оснащенные инструментами для поиска информации и выполнения кода. Мы улучшаем процесс дистилляции агентов по двум взаимодополняющим направлениям: (1) вводим метод подсказок под названием first-thought prefix для повышения качества траекторий, генерируемых учителем; и (2) предлагаем метод self-consistent action generation для повышения устойчивости мелких агентов во время тестирования. Мы оцениваем наш метод на восьми задачах логического рассуждения в фактологических и математических областях, охватывая как внутридоменную, так и внедоменную генерализацию. Наши результаты показывают, что sLM с параметрами всего 0,5B, 1,5B и 3B могут достичь производительности, сопоставимой с более крупными моделями 1,5B, 3B и 7B, настроенными с использованием дистилляции CoT, что демонстрирует потенциал дистилляции агентов для создания практичных мелких агентов, использующих инструменты. Наш код доступен по адресу https://github.com/Nardien/agent-distillation.

English

Large language models (LLMs) excel at complex reasoning tasks but remain computationally expensive, limiting their practical deployment. To address this, recent works have focused on distilling reasoning capabilities into smaller language models (sLMs) using chain-of-thought (CoT) traces from teacher LLMs. However, this approach struggles in scenarios requiring rare factual knowledge or precise computation, where sLMs often hallucinate due to limited capability. In this work, we propose Agent Distillation, a framework for transferring not only reasoning capability but full task-solving behavior from LLM-based agents into sLMs with retrieval and code tools. We improve agent distillation along two complementary axes: (1) we introduce a prompting method called first-thought prefix to enhance the quality of teacher-generated trajectories; and (2) we propose a self-consistent action generation for improving test-time robustness of small agents. We evaluate our method on eight reasoning tasks across factual and mathematical domains, covering both in-domain and out-of-domain generalization. Our results show that sLMs as small as 0.5B, 1.5B, 3B parameters can achieve performance competitive with next-tier larger 1.5B, 3B, 7B models fine-tuned using CoT distillation, demonstrating the potential of agent distillation for building practical, tool-using small agents. Our code is available at https://github.com/Nardien/agent-distillation.