Memoria episódica similar a la humana para LLMs de contexto infinito.

Human-like Episodic Memory for Infinite Context LLMs

July 12, 2024

Autores: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) han demostrado capacidades notables, pero aún tienen dificultades para procesar contextos extensos, lo que limita su capacidad para mantener coherencia y precisión en secuencias largas. En contraste, el cerebro humano sobresale en organizar y recuperar experiencias episódicas a lo largo de vastas escalas temporales, abarcando toda una vida. En este trabajo, presentamos EM-LLM, un enfoque novedoso que integra aspectos clave de la memoria episódica humana y la cognición de eventos en LLMs, permitiéndoles manejar eficazmente longitudes de contexto prácticamente infinitas manteniendo la eficiencia computacional. EM-LLM organiza secuencias de tokens en eventos episódicos coherentes utilizando una combinación de sorpresa bayesiana y refinamiento de límites teóricos en línea. Cuando es necesario, estos eventos se recuperan a través de un proceso de memoria de dos etapas, combinando la recuperación basada en similitud y contigüidad temporal para un acceso eficiente y similar al humano a la información relevante. Experimentos en el conjunto de datos LongBench demuestran el rendimiento superior de EM-LLM, superando al modelo InfLLM de última generación con una mejora relativa general del 4.3% en varias tareas, incluida una mejora del 33% en la tarea de Recuperación de Pasajes. Además, nuestro análisis revela fuertes correlaciones entre la segmentación de eventos de EM-LLM y eventos percibidos por humanos, sugiriendo un puente entre este sistema artificial y su contraparte biológica. Este trabajo no solo avanza en las capacidades de los LLMs para procesar contextos extensos, sino que también proporciona un marco computacional para explorar los mecanismos de memoria humana, abriendo nuevas vías para la investigación interdisciplinaria en IA y ciencia cognitiva.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.