Larimar: Modelos de Lenguaje a Gran Escala con Control de Memoria Episódica

Larimar: Large Language Models with Episodic Memory Control

March 18, 2024

Autores: Payel Das, Subhajit Chaudhury, Elliot Nelson, Igor Melnyk, Sarath Swaminathan, Sihui Dai, Aurélie Lozano, Georgios Kollias, Vijil Chenthamarakshan, Jiří, Navrátil, Soham Dan, Pin-Yu Chen

cs.AI

Resumen

La actualización eficiente y precisa del conocimiento almacenado en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) es uno de los desafíos de investigación más urgentes en la actualidad. Este artículo presenta Larimar, una arquitectura novedosa inspirada en el cerebro humano para mejorar los LLMs con una memoria episódica distribuida. La memoria de Larimar permite actualizaciones dinámicas y de un solo paso del conocimiento sin necesidad de un costoso reentrenamiento o ajuste fino computacionalmente. Los resultados experimentales en múltiples benchmarks de edición de hechos demuestran que Larimar alcanza una precisión comparable a las líneas base más competitivas, incluso en el escenario desafiante de edición secuencial, pero también destaca en velocidad, logrando aceleraciones de 4 a 10 veces dependiendo del LLM base, así como en flexibilidad debido a que la arquitectura propuesta es simple, independiente del LLM y, por lo tanto, general. Además, proporcionamos mecanismos para el olvido selectivo de hechos y la generalización de la longitud del contexto de entrada con Larimar, y demostramos su efectividad.

English

Efficient and accurate updating of knowledge stored in Large Language Models (LLMs) is one of the most pressing research challenges today. This paper presents Larimar - a novel, brain-inspired architecture for enhancing LLMs with a distributed episodic memory. Larimar's memory allows for dynamic, one-shot updates of knowledge without the need for computationally expensive re-training or fine-tuning. Experimental results on multiple fact editing benchmarks demonstrate that Larimar attains accuracy comparable to most competitive baselines, even in the challenging sequential editing setup, but also excels in speed - yielding speed-ups of 4-10x depending on the base LLM - as well as flexibility due to the proposed architecture being simple, LLM-agnostic, and hence general. We further provide mechanisms for selective fact forgetting and input context length generalization with Larimar and show their effectiveness.