Memória Episódica semelhante à Humana para LLMs de Contexto Infinito

Resumo

Os grandes modelos de linguagem (LLMs) têm demonstrado capacidades notáveis, mas ainda têm dificuldades em processar contextos extensos, limitando sua capacidade de manter coerência e precisão em sequências longas. Em contraste, o cérebro humano se destaca na organização e recuperação de experiências episódicas em vastas escalas temporais, abrangendo toda uma vida. Neste trabalho, apresentamos o EM-LLM, uma abordagem inovadora que integra aspectos-chave da memória episódica humana e cognição de eventos nos LLMs, permitindo que lidem efetivamente com comprimentos de contexto praticamente infinitos, mantendo a eficiência computacional. O EM-LLM organiza sequências de tokens em eventos episódicos coerentes usando uma combinação de surpresa bayesiana e refinamento de fronteira teórica de grafos de forma online. Quando necessário, esses eventos são recuperados por meio de um processo de memória em duas etapas, combinando recuperação baseada em similaridade e contiguidade temporal para acesso eficiente e semelhante ao humano a informações relevantes. Experimentos no conjunto de dados LongBench demonstram o desempenho superior do EM-LLM, superando o modelo InfLLM estado-da-arte com uma melhoria relativa geral de 4,3% em várias tarefas, incluindo uma melhoria de 33% na tarefa de Recuperação de Passagens. Além disso, nossa análise revela correlações fortes entre a segmentação de eventos do EM-LLM e eventos percebidos pelos humanos, sugerindo uma ponte entre esse sistema artificial e seu equivalente biológico. Este trabalho não apenas avança as capacidades dos LLMs no processamento de contextos extensos, mas também fornece um arcabouço computacional para explorar mecanismos de memória humana, abrindo novos caminhos para pesquisas interdisciplinares em IA e ciência cognitiva.

English

Large language models (LLMs) have shown remarkable capabilities, but still struggle with processing extensive contexts, limiting their ability to maintain coherence and accuracy over long sequences. In contrast, the human brain excels at organising and retrieving episodic experiences across vast temporal scales, spanning a lifetime. In this work, we introduce EM-LLM, a novel approach that integrates key aspects of human episodic memory and event cognition into LLMs, enabling them to effectively handle practically infinite context lengths while maintaining computational efficiency. EM-LLM organises sequences of tokens into coherent episodic events using a combination of Bayesian surprise and graph-theoretic boundary refinement in an on-line fashion. When needed, these events are retrieved through a two-stage memory process, combining similarity-based and temporally contiguous retrieval for efficient and human-like access to relevant information. Experiments on the LongBench dataset demonstrate EM-LLM's superior performance, outperforming the state-of-the-art InfLLM model with an overall relative improvement of 4.3% across various tasks, including a 33% improvement on the PassageRetrieval task. Furthermore, our analysis reveals strong correlations between EM-LLM's event segmentation and human-perceived events, suggesting a bridge between this artificial system and its biological counterpart. This work not only advances LLM capabilities in processing extended contexts but also provides a computational framework for exploring human memory mechanisms, opening new avenues for interdisciplinary research in AI and cognitive science.

Memória Episódica semelhante à Humana para LLMs de Contexto Infinito

Human-like Episodic Memory for Infinite Context LLMs

Resumo

Support