DuoMem: 이중 공간 증류를 통한 유능한 온디바이스 메모리 에이전트

초록

대규모 언어 모델(LLM) 기반 에이전트는 여러 차례의 상호작용을 통해 환경과 소통하며 복잡한 절차적 작업을 해결할 수 있지만, 이러한 능력은 일반적으로 대형 모델, 긴 맥락, 반복적인 추론 호출에 의존합니다. 이로 인해 고급 메모리 증강 에이전트를 자원이 제한된 장치에 배포하기가 어렵습니다. 본 논문에서는 대형 교사 모델의 절차적 문제 해결 능력을 소형 학생 모델로 전이하는 이중 공간 증류 프레임워크인 DuoMem을 제안합니다. DuoMem은 두 가지 보완적 공간에서 증류를 수행합니다: (1) 맥락 공간 증류(context-space distillation)는 학생 모델이 생성한 메모리를 교사 모델이 생성한 고품질의 절차적 메모리로 대체하여 학생 모델의 입력 앞에 추가하며, (2) 파라미터 공간 증류(parameter-space distillation)는 성공적인 교사 궤적에 대해 경량 LoRA 어댑터를 미세 조정합니다. 도전적인 체화된 의사 결정 벤치마크인 ALFWorld에서 평가된 DuoMem은 4B 파라미터 모델의 작업 성공률을 4.3%에서 77.9%로 향상시켜, 72B 교사 모델(87.1%)과의 격차를 대부분 줄이는 동시에 1천만 개 미만의 학습 가능한 파라미터와 수 메가바이트의 사전 계산된 교사 메모리만을 추가합니다. 또한 DuoMem으로 향상된 4B 모델은 실제 시간으로 72B 교사보다 3배 이상 빠르게 작업을 완료하여, 교사에게는 어려운 실시간 엣지 배포에 적합합니다. 2B에서 72B 파라미터에 이르는 8개 모델에 걸친 광범위한 절제 연구는 두 증류 축이 상호 보완적으로 기여함을 보여줍니다.

English

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary