DuoMem: Hacia Agentes de Memoria Capaces en el Dispositivo mediante Destilación de Doble Espacio

Resumen

Los agentes basados en modelos de lenguaje de gran escala (LLM) pueden resolver tareas procedimentales complejas interactuando con entornos a lo largo de múltiples turnos, pero esta capacidad suele depender de modelos grandes, contextos extensos y múltiples llamadas de inferencia. Esto dificulta la implementación de agentes avanzados con memoria aumentada en dispositivos con recursos limitados. Presentamos DuoMem, un marco de destilación en doble espacio que transfiere la capacidad de resolución de problemas procedimentales de un modelo profesor grande a modelos alumno compactos. DuoMem destila en dos espacios complementarios: (1) destilación en el espacio de contexto, que reemplaza las memorias generadas por el alumno con memorias procedimentales de mayor calidad generadas por el profesor, antepuestas en la entrada del alumno; y (2) destilación en el espacio de parámetros, que ajusta finamente adaptadores LoRA ligeros sobre trayectorias exitosas del profesor. Evaluado en ALFWorld, un desafiante punto de referencia para la toma de decisiones encarnadas, DuoMem mejora la tasa de éxito de un modelo de 4 mil millones de parámetros del 4,3 % al 77,9 %, cerrando casi la brecha con un modelo profesor de 72 mil millones de parámetros (87,1 %), mientras añade menos de 10 millones de parámetros entrenables y solo unos pocos megabytes de memorias del profesor precomputadas. Además, el modelo de 4 mil millones mejorado con DuoMem completa las tareas más de 3 veces más rápido que el profesor de 72 mil millones en tiempo real, lo que lo hace viable para implementación en el borde en tiempo real, algo que sería difícil para el profesor. Amplios análisis de ablación en ocho modelos con un rango de 2 a 72 mil millones de parámetros revelan que ambos ejes de destilación contribuyen de manera complementaria.

English

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary