Larimar: Große Sprachmodelle mit episodischer Gedächtnissteuerung

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

Autoren: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

Zusammenfassung

Die effiziente und genaue Aktualisierung des in Large Language Models (LLMs) gespeicherten Wissens ist eine der drängendsten Forschungsherausforderungen heute. Dieses Papier stellt Larimar vor - eine neuartige, von Gehirnen inspirierte Architektur zur Verbesserung von LLMs mit einem verteilten episodischen Gedächtnis. Larimars Gedächtnis ermöglicht dynamische, einmalige Aktualisierungen des Wissens, ohne dass aufwendiges Neutraining oder Feinabstimmung erforderlich ist. Experimentelle Ergebnisse an mehreren Benchmark-Tests zur Faktenerstellung zeigen, dass Larimar eine Genauigkeit erreicht, die mit den meisten Wettbewerbsbaselines vergleichbar ist, selbst in der anspruchsvollen sequenziellen Bearbeitungsumgebung. Darüber hinaus zeichnet sich Larimar durch Geschwindigkeit aus - mit Beschleunigungen von 4-10-fach je nach Basis-LLM - sowie Flexibilität aufgrund der vorgeschlagenen Architektur, die einfach, LLM-agnostisch und daher allgemein ist. Wir bieten auch Mechanismen für selektives Vergessen von Fakten und Verallgemeinerung der Eingabekontextlänge mit Larimar an und zeigen deren Wirksamkeit.

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.