Человекоподобная эпизодическая память для бесконечных контекстов LLM.

Human-like Episodic Memory for Infinite Context LLMs

July 12, 2024

Авторы: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающиеся возможности, однако все еще испытывают трудности с обработкой обширных контекстов, что ограничивает их способность поддерживать согласованность и точность на длинных последовательностях. В отличие от этого, человеческий мозг отличается в умении организовывать и извлекать эпизодические опыты на протяжении огромных временных масштабов, охватывающих всю жизнь. В данной работе мы представляем EM-LLM, новый подход, который интегрирует ключевые аспекты человеческой эпизодической памяти и когнитивных событий в LLM, позволяя им эффективно обрабатывать практически бесконечные длины контекста, сохраняя при этом вычислительную эффективность. EM-LLM организует последовательности токенов в согласованные эпизодические события с использованием комбинации байесовского удивления и уточнения границ на основе графов в режиме онлайн. При необходимости эти события извлекаются через двухэтапный процесс памяти, объединяя похожесть и временную последовательность для эффективного и похожего на человеческий доступ к актуальной информации. Эксперименты на наборе данных LongBench показывают превосходную производительность EM-LLM, превосходя модель InfLLM нового поколения с общим относительным улучшением на 4,3% по различным задачам, включая улучшение на 33% в задаче Поиска пассажа. Более того, наш анализ выявляет сильные корреляции между сегментацией событий EM-LLM и событиями, воспринимаемыми человеком, что указывает на связь между этой искусственной системой и ее биологическим аналогом. Эта работа не только продвигает возможности LLM в обработке расширенных контекстов, но также предоставляет вычислительную основу для изучения механизмов человеческой памяти, открывая новые перспективы для междисциплинарных исследований в области ИИ и когнитивной науки.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.