人間のようなエピソード記憶を備えた無限コンテキストLLM

Human-like Episodic Memory for Infinite Context LLMs

July 12, 2024

著者: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang

cs.AI

要旨

大規模言語モデル（LLM）は顕著な能力を示しているものの、広範な文脈を処理する際に依然として課題を抱えており、長いシーケンスにわたる一貫性と正確性を維持する能力が制限されている。一方、人間の脳は、生涯にわたる広大な時間スケールでエピソード的経験を整理し、検索することに優れている。本研究では、人間のエピソード記憶とイベント認知の重要な側面をLLMに統合した新たなアプローチであるEM-LLMを提案する。これにより、実質的に無限の文脈長を効果的に処理しつつ、計算効率を維持することが可能となる。EM-LLMは、ベイズ的驚きとグラフ理論的境界精緻化を組み合わせたオンライン方式で、トークンのシーケンスを一貫したエピソード的イベントとして整理する。必要に応じて、これらのイベントは、類似性ベースおよび時間的連続性に基づく検索を組み合わせた二段階の記憶プロセスを通じて検索され、関連情報への効率的かつ人間らしいアクセスを実現する。LongBenchデータセットを用いた実験では、EM-LLMが最先端のInfLLMモデルを上回り、様々なタスクにおいて全体で4.3%の相対的改善を示し、特にPassageRetrievalタスクでは33%の改善を達成した。さらに、分析の結果、EM-LLMのイベントセグメンテーションと人間が認識するイベントとの間に強い相関が確認され、この人工システムとその生物学的対応物との間に橋渡しが可能であることが示唆された。本研究は、拡張された文脈を処理するLLMの能力を向上させるだけでなく、人間の記憶メカニズムを探求するための計算フレームワークを提供し、AIと認知科学の学際的研究における新たな道を開くものである。

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.