라리마: 에피소딕 메모리 제어를 갖춘 대규모 언어 모델

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

저자: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

초록

대규모 언어 모델(LLM)에 저장된 지식을 효율적이고 정확하게 업데이트하는 것은 현재 가장 시급한 연구 과제 중 하나입니다. 본 논문은 분산된 에피소드 메모리를 통해 LLM을 강화하는 새로운 뇌 영감 아키텍처인 라리마(Larimar)를 제안합니다. 라리마의 메모리는 계산 비용이 많이 드는 재학습이나 미세 조정 없이도 지식을 동적으로 원샷(one-shot) 업데이트할 수 있게 해줍니다. 여러 사실 편집 벤치마크에서의 실험 결과는 라리마가 도전적인 순차 편집 설정에서도 가장 경쟁력 있는 기준 모델들과 비슷한 정확도를 달성할 뿐만 아니라, 속도 면에서도 우수함을 보여줍니다. 기본 LLM에 따라 4~10배의 속도 향상을 이루며, 제안된 아키텍처가 단순하고 LLM에 구애받지 않아 일반적으로 적용 가능하다는 점에서 유연성도 뛰어납니다. 또한, 라리마를 통한 선택적 사실 삭제 및 입력 컨텍스트 길이 일반화 메커니즘을 제시하고 그 효과를 입증합니다.

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.