Ларимар: Большие языковые модели с управлением эпизодической памятью

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

Авторы: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

Аннотация

Эффективное и точное обновление знаний, хранящихся в больших языковых моделях (LLM), является одной из наиболее актуальных исследовательских задач сегодня. В данной статье представлена Larimar - новая архитектура, вдохновленная мозгом, для улучшения LLM с распределенной эпизодической памятью. Память Larimar позволяет динамически обновлять знания одним выстрелом без необходимости затратного повторного обучения или настройки. Экспериментальные результаты на нескольких бенчмарках редактирования фактов показывают, что Larimar достигает точности, сравнимой с большинством конкурентных базовых уровней, даже в сложной последовательной настройке редактирования, но также превосходит в скорости - обеспечивая ускорение в 4-10 раз в зависимости от базового LLM - а также гибкость благодаря предложенной простой, не привязанной к LLM архитектуре и, следовательно, общей. Мы также предоставляем механизмы для выборочного забывания фактов и обобщения длины контекста ввода с помощью Larimar и демонстрируем их эффективность.

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.