DuoMem: Auf dem Weg zu leistungsfähigen On-Device-Speicher-Agenten mittels Dual-Space-Destillation

Zusammenfassung

Auf Large Language Models (LLMs) basierende Agenten können komplexe prozedurale Aufgaben lösen, indem sie über mehrere Interaktionen hinweg mit Umgebungen interagieren. Diese Fähigkeit erfordert jedoch typischerweise große Modelle, lange Kontexte und wiederholte Inferenzaufrufe. Dies erschwert den Einsatz fortschrittlicher, speichergestützter Agenten auf ressourcenbeschränkten Geräten. Wir stellen DuoMem vor, ein Destillationsframework in dualen Räumen, das prozedurale Problemlösungsfähigkeiten von einem großen Lehrermodell auf kompakte Schülermodelle überträgt. DuoMem destilliert in zwei komplementären Räumen: (1) Kontextraum-Destillation, bei der vom Schüler erzeugte Erinnerungen durch qualitativ hochwertigere, vom Lehrer erzeugte prozedurale Erinnerungen ersetzt werden, die dem Eingabekontext des Schülers vorangestellt werden, und (2) Parameterraum-Destillation, bei der leichte LoRA-Adapter auf erfolgreichen Lehrer-Trajektorien feinabgestimmt werden. Evaluiert auf ALFWorld, einem anspruchsvollen Benchmark für verkörperte Entscheidungsfindung, steigert DuoMem die Aufgaben-Erfolgsrate eines 4B-Parameter-Modells von 4,3 % auf 77,9 % und schließt damit die Lücke zu einem 72B-Lehrermodell (87,1 %) weitgehend, während weniger als 10 Millionen trainierbare Parameter und nur wenige Megabyte vorberechneter Lehrererinnerungen hinzugefügt werden. Darüber hinaus absolviert das mit DuoMem verbesserte 4B-Modell Aufgaben in der Wanduhrzeit über 3-mal schneller als das 72B-Lehrermodell, was es für Echtzeit-Edge-Bereitstellungen geeignet macht, die für das Lehrermodell herausfordernd wären. Umfangreiche Ablationen über acht Modelle mit einer Spanne von 2B bis 72B Parametern zeigen, dass beide Destillationsachsen komplementäre Beiträge leisten.

English

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary