De RAG para Memória: Aprendizado Contínuo Não Paramétrico para Modelos de Linguagem de Grande Escala

From RAG to Memory: Non-Parametric Continual Learning for Large Language Models

February 20, 2025

Autores: Bernal Jiménez Gutiérrez, Yiheng Shu, Weijian Qi, Sizhe Zhou, Yu Su

cs.AI

Resumo

Nossa capacidade de adquirir, organizar e aproveitar o conhecimento de forma contínua é uma característica fundamental da inteligência humana que os sistemas de IA precisam aproximar para desbloquear todo o seu potencial. Diante dos desafios no aprendizado contínuo com modelos de linguagem de grande escala (LLMs, na sigla em inglês), a geração aumentada por recuperação (RAG, na sigla em inglês) tornou-se a principal forma de introduzir novas informações. No entanto, sua dependência da recuperação vetorial dificulta sua capacidade de imitar a natureza dinâmica e interconectada da memória de longo prazo humana. Abordagens recentes de RAG aumentam os embeddings vetoriais com várias estruturas, como grafos de conhecimento, para abordar algumas dessas lacunas, especificamente a compreensão contextual e a associatividade. No entanto, seu desempenho em tarefas mais básicas de memória factual cai consideravelmente abaixo do RAG padrão. Nós abordamos essa deterioração não intencional e propomos o HippoRAG 2, um framework que supera o RAG padrão de forma abrangente em tarefas de memória factual, compreensão contextual e associativa. O HippoRAG 2 se baseia no algoritmo PageRank Personalizado usado no HippoRAG e o aprimora com uma integração mais profunda de passagens e um uso mais eficiente online de um LLM. Essa combinação aproxima esse sistema RAG da eficácia da memória de longo prazo humana, alcançando uma melhoria de 7% em tarefas de memória associativa em relação ao modelo de embedding state-of-the-art, além de exibir capacidades superiores de conhecimento factual e memória de compreensão contextual. Este trabalho abre caminho para o aprendizado contínuo não paramétrico para LLMs. Nosso código e dados serão disponibilizados em https://github.com/OSU-NLP-Group/HippoRAG.

English

Our ability to continuously acquire, organize, and leverage knowledge is a key feature of human intelligence that AI systems must approximate to unlock their full potential. Given the challenges in continual learning with large language models (LLMs), retrieval-augmented generation (RAG) has become the dominant way to introduce new information. However, its reliance on vector retrieval hinders its ability to mimic the dynamic and interconnected nature of human long-term memory. Recent RAG approaches augment vector embeddings with various structures like knowledge graphs to address some of these gaps, namely sense-making and associativity. However, their performance on more basic factual memory tasks drops considerably below standard RAG. We address this unintended deterioration and propose HippoRAG 2, a framework that outperforms standard RAG comprehensively on factual, sense-making, and associative memory tasks. HippoRAG 2 builds upon the Personalized PageRank algorithm used in HippoRAG and enhances it with deeper passage integration and more effective online use of an LLM. This combination pushes this RAG system closer to the effectiveness of human long-term memory, achieving a 7% improvement in associative memory tasks over the state-of-the-art embedding model while also exhibiting superior factual knowledge and sense-making memory capabilities. This work paves the way for non-parametric continual learning for LLMs. Our code and data will be released at https://github.com/OSU-NLP-Group/HippoRAG.