무한 컨텍스트 LLM을 위한 인간형 에피소드 메모리

Human-like Episodic Memory for Infinite Context LLMs

July 12, 2024

저자: Zafeirios Fountas, Martin A Benfeghoul, Adnan Oomerjee, Fenia Christopoulou, Gerasimos Lampouras, Haitham Bou-Ammar, Jun Wang

cs.AI

초록

대규모 언어 모델(LLM)은 놀라운 능력을 보여주었지만, 여전히 광범위한 문맥을 처리하는 데 어려움을 겪으며, 긴 시퀀스에 걸쳐 일관성과 정확성을 유지하는 능력이 제한적입니다. 반면, 인간의 뇌는 평생에 걸친 광대한 시간 규모에서 에피소드적 경험을 조직하고 검색하는 데 탁월합니다. 본 연구에서는 인간의 에피소드 기억과 사건 인지의 핵심 요소를 LLM에 통합한 새로운 접근법인 EM-LLM을 소개합니다. 이를 통해 LLM이 실질적으로 무한한 문맥 길이를 효과적으로 처리하면서도 계산 효율성을 유지할 수 있게 합니다. EM-LLM은 베이지안 서프라이즈와 그래프 이론적 경계 정제를 결합하여 온라인 방식으로 토큰 시퀀스를 일관된 에피소드 사건으로 조직합니다. 필요할 때, 이러한 사건들은 유사성 기반 및 시간적 연속성 검색을 결합한 두 단계의 메모리 프로세스를 통해 검색되며, 이는 관련 정보에 대한 효율적이고 인간과 유사한 접근을 가능하게 합니다. LongBench 데이터셋에 대한 실험은 EM-LLM의 우수한 성능을 입증하며, 다양한 작업에서 최신 기술인 InfLLM 모델을 능가하며 전반적으로 4.3%의 상대적 개선을 보였고, 특히 PassageRetrieval 작업에서는 33%의 개선을 달성했습니다. 또한, 우리의 분석은 EM-LLM의 사건 분할과 인간이 인지하는 사건 간의 강한 상관관계를 보여주며, 이 인공 시스템과 생물학적 대응체 간의 다리를 제시합니다. 이 연구는 확장된 문맥 처리에서 LLM의 능력을 발전시킬 뿐만 아니라, 인간 기억 메커니즘을 탐구하기 위한 계산적 프레임워크를 제공하며, AI와 인지 과학 간의 학제간 연구를 위한 새로운 길을 열어줍니다.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.