Larimar: Grote Taalmodellen met Episodisch Geheugenbeheer

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

Auteurs: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

Samenvatting

Efficiënte en nauwkeurige updates van kennis die is opgeslagen in Large Language Models (LLM's) vormen een van de meest urgente onderzoeksuitdagingen van vandaag. Dit artikel introduceert Larimar - een nieuwe, door de hersenen geïnspireerde architectuur voor het verbeteren van LLM's met een gedistribueerd episodisch geheugen. Het geheugen van Larimar maakt dynamische, eenmalige updates van kennis mogelijk zonder dat er dure hertraining of fine-tuning nodig is. Experimentele resultaten op meerdere benchmarks voor het bewerken van feiten laten zien dat Larimar een nauwkeurigheid bereikt die vergelijkbaar is met de meest competitieve baselines, zelfs in de uitdagende sequentiële bewerkingsopzet, maar ook uitblinkt in snelheid - met versnellingen van 4-10x afhankelijk van de basis-LLM - evenals flexibiliteit vanwege de voorgestelde architectuur die eenvoudig, LLM-agnostisch en dus algemeen toepasbaar is. We bieden verder mechanismen voor selectief feitenvergeten en generalisatie van de invoercontextlengte met Larimar en tonen hun effectiviteit aan.

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.