Memoria Episodica Umanoide per LLM con Contesto Infinito

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità notevoli, ma continuano a lottare con l'elaborazione di contesti estesi, limitando la loro capacità di mantenere coerenza e accuratezza su sequenze lunghe. Al contrario, il cervello umano eccelle nell'organizzare e recuperare esperienze episodiche su scale temporali vaste, che abbracciano un'intera vita. In questo lavoro, introduciamo EM-LLM, un approccio innovativo che integra aspetti chiave della memoria episodica umana e della cognizione degli eventi negli LLM, consentendo loro di gestire efficacemente lunghezze di contesto praticamente infinite mantenendo l'efficienza computazionale. EM-LLM organizza sequenze di token in eventi episodici coerenti utilizzando una combinazione di sorpresa bayesiana e raffinamento dei confini basato sulla teoria dei grafi in modo online. Quando necessario, questi eventi vengono recuperati attraverso un processo di memoria a due stadi, che combina il recupero basato sulla similarità e quello temporalmente contiguo per un accesso efficiente e simile a quello umano alle informazioni rilevanti. Gli esperimenti sul dataset LongBench dimostrano la performance superiore di EM-LLM, superando il modello all'avanguardia InfLLM con un miglioramento relativo complessivo del 4,3% su vari compiti, incluso un miglioramento del 33% nel task PassageRetrieval. Inoltre, la nostra analisi rivela forti correlazioni tra la segmentazione degli eventi di EM-LLM e gli eventi percepiti dagli esseri umani, suggerendo un ponte tra questo sistema artificiale e la sua controparte biologica. Questo lavoro non solo avanza le capacità degli LLM nell'elaborazione di contesti estesi, ma fornisce anche un framework computazionale per esplorare i meccanismi della memoria umana, aprendo nuove strade per la ricerca interdisciplinare nell'IA e nelle scienze cognitive.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.

Memoria Episodica Umanoide per LLM con Contesto Infinito

Human-like Episodic Memory for Infinite Context LLMs

Abstract

Support