DuoMem: к созданию эффективных встроенных агентов памяти с помощью дистилляции в двойном пространстве

Аннотация

Агенты на основе больших языковых моделей (БЯМ) способны решать сложные процедурные задачи, взаимодействуя со средой в течение нескольких раундов, однако эта способность обычно зависит от больших моделей, длинных контекстов и многократных вызовов логического вывода. Это затрудняет развертывание продвинутых агентов с дополненной памятью на устройствах с ограниченными ресурсами. Мы представляем DuoMem — фреймворк двухпространственной дистилляции, который переносит способность решать процедурные задачи от большой модели-учителя к компактным моделям-ученикам. DuoMem выполняет дистилляцию в двух взаимодополняющих пространствах: (1) дистилляция в пространстве контекста, при которой воспоминания, сгенерированные учеником, заменяются более качественными процедурными воспоминаниями, созданными учителем и добавляемыми в начало входных данных ученика; и (2) дистилляция в пространстве параметров, при которой на успешных траекториях учителя выполняется тонкая настройка легковесных адаптеров LoRA. При оценке на ALFWorld, сложном бенчмарке для воплощенного принятия решений, DuoMem повышает частоту успешного выполнения задач модели с 4 млрд параметров с 4,3% до 77,9%, сокращая большую часть разрыва с моделью-учителем на 72 млрд параметров (87,1%), при этом добавляя менее 10 млн обучаемых параметров и всего несколько мегабайт предварительно вычисленных воспоминаний учителя. Кроме того, улучшенная с помощью DuoMem модель на 4 млрд параметров выполняет задачи более чем в 3 раза быстрее учителя на 72 млрд параметров по астрономическому времени, что делает её пригодной для развертывания на периферии в реальном времени — задача, которая была бы затруднительна для учителя. Обширные абляции на восьми моделях в диапазоне от 2 до 72 млрд параметров показывают, что оба направления дистилляции вносят взаимодополняющий вклад.

English

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary