에이전트 메모리 증류: 계층적 교사 메모리를 통한 소형 LLM 에이전트 강화

초록

메모리 시스템은 에이전트 성능 향상에 유망한 가능성을 보여주었지만, 소규모 언어 모델의 경우 그 잠재력은 대체로 탐구되지 않은 채 남아 있다. 소규모 언어 모델은 스스로 충분한 성공 궤적을 생성하는 데 어려움을 겪기 때문이다. 본 논문에서는 대규모 교사 에이전트의 구조화된 지식을 계층적 메모리를 통해 소규모 학생 에이전트로 전이하는 추가 학습이 필요 없는 프레임워크인 Agent Memory Distillation(AMD)을 제안한다. AMD는 성공적인 교사 궤적으로부터 세 가지 상호 보완적인 메모리 유형을 구축한다. 워크플로우 메모리는 작업 수준의 전략을 인코딩하고, 하위 작업 메모리는 중간 세분화 수준에서 구체적인 행동 예시를 제공하며, 함수 메모리는 함수별 호출 규칙과 일반적인 함정을 포착한다. 워크플로우 및 하위 작업 메모리는 각 작업 시작 시 선제적으로 주입되는 반면, 함수 메모리는 도구 호출 오류 발생 시 반응적으로 검색된다. 본 연구는 GPT-5-mini를 교사 모델로, 4B~8B 파라미터의 4개 학생 모델을 사용하여 세 가지 도구 사용 벤치마크에서 AMD를 평가하였으며, AppWorld, BFCL V3, ToolSandbox에서 평균 정확도가 각각 27.2%p, 11.2%p, 3.4%p 향상되어 기존 메모리 기반 기준선들을 일관되게 능가하는 결과를 보였다. 추가 분석에 따르면 하위 작업 메모리가 가장 큰 성능 향상을 기여하며, 교사 모델의 효과성은 교사 역량과 학생 모델 호환성 모두에 의존하고, 4B 규모의 학생 모델이 AMD의 이점을 가장 많이 얻는 것으로 나타났다.

English

Memory systems have shown promise for improving agent performance, but their potential remains largely unexplored for small language models, which struggle to generate sufficient successful trajectories on their own. We propose Agent Memory Distillation (AMD), a training-free framework that transfers structured knowledge from a large teacher agent to a small student agent through hierarchical memory. AMD constructs three complementary memory types from successful teacher trajectories: Workflow memory encodes task-level strategies, Subtask memory provides concrete behavioral examples at an intermediate granularity, and Function memory captures per-function calling conventions and common pitfalls. Workflow and Subtask memories are injected proactively at the start of each task, while Function memory is retrieved reactively upon tool-calling errors. We evaluate AMD on three tool-use benchmarks using four student models (4B-8B parameters) with GPT-5-mini as the teacher, achieving average accuracy gains of 27.2%p, 11.2%p, and 3.4%p on AppWorld, BFCL V3, and ToolSandbox, while consistently outperforming existing memory-based baselines. Further analysis shows that Subtask memory contributes the largest gains, teacher effectiveness depends on both teacher capability and student compatibility, and 4B-sized students benefit most from AMD.