Larimar: エピソード記憶制御を備えた大規模言語モデル

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

著者: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

要旨

大規模言語モデル（LLM）に蓄積された知識の効率的かつ正確な更新は、現在最も喫緊の研究課題の一つである。本論文では、LLMを分散型エピソード記憶で強化する、脳に着想を得た新規アーキテクチャ「Larimar」を提案する。Larimarの記憶機構は、計算コストの高い再学習やファインチューニングを必要とせず、動的なワンショット知識更新を可能にする。複数の事実編集ベンチマークにおける実験結果は、Larimarが最も競争力のあるベースラインと同等の精度を達成するだけでなく、特に逐次編集設定においても優れた性能を示すことを実証している。さらに、提案アーキテクチャはシンプルでLLMに依存しない汎用性を有するため、速度面ではベースLLMに応じて4～10倍の高速化を実現し、柔軟性にも優れている。我々はさらに、Larimarを用いた選択的事実忘却と入力コンテキスト長の一般化のメカニズムを提供し、その有効性を示す。

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.