Mensachtig episodisch geheugen voor LLM's met oneindige context

Samenvatting

Grote taalmodellen (LLM's) hebben opmerkelijke capaciteiten getoond, maar worstelen nog steeds met het verwerken van uitgebreide contexten, wat hun vermogen beperkt om samenhang en nauwkeurigheid over lange sequenties te behouden. Daarentegen blinkt het menselijk brein uit in het organiseren en ophalen van episodische ervaringen over enorme tijdschalen, die een leven lang kunnen beslaan. In dit werk introduceren we EM-LLM, een nieuwe aanpak die belangrijke aspecten van menselijk episodisch geheugen en gebeurteniscognitie integreert in LLM's, waardoor ze praktisch oneindige contextlengtes effectief kunnen verwerken terwijl ze rekenkundige efficiëntie behouden. EM-LLM organiseert sequenties van tokens in samenhangende episodische gebeurtenissen met behulp van een combinatie van Bayesiaanse verrassing en grafentheoretische grenspolijsting op een online manier. Wanneer nodig, worden deze gebeurtenissen opgehaald via een tweestaps geheugenproces, dat gelijkheidsgebaseerde en temporeel aaneengesloten ophaling combineert voor efficiënte en mensachtige toegang tot relevante informatie. Experimenten op de LongBench-dataset demonstreren de superieure prestaties van EM-LLM, waarbij het het state-of-the-art InfLLM-model overtreft met een algehele relatieve verbetering van 4,3% over verschillende taken, inclusief een verbetering van 33% op de PassageRetrieval-taak. Bovendien onthult onze analyse sterke correlaties tussen de gebeurtenissegmentatie van EM-LLM en door mensen waargenomen gebeurtenissen, wat een brug suggereert tussen dit kunstmatige systeem en zijn biologische tegenhanger. Dit werk bevordert niet alleen de capaciteiten van LLM's in het verwerken van uitgebreide contexten, maar biedt ook een computationeel raamwerk voor het verkennen van menselijke geheugenmechanismen, wat nieuwe wegen opent voor interdisciplinair onderzoek in AI en cognitieve wetenschappen.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.

Mensachtig episodisch geheugen voor LLM's met oneindige context

Human-like Episodic Memory for Infinite Context LLMs

Samenvatting

Support