MemoRAG: Rumo ao RAG da Próxima Geração Através da Descoberta de Conhecimento Inspirada na Memória

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Autores: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Resumo

A Geração Aprimorada por Recuperação (RAG) aproveita ferramentas de recuperação para acessar bancos de dados externos, melhorando assim a qualidade de geração de grandes modelos de linguagem (LLMs) por meio de um contexto otimizado. No entanto, os métodos de recuperação existentes são inerentemente limitados, pois só conseguem realizar correspondência de relevância entre consultas explicitamente declaradas e conhecimento bem estruturado, sendo incapazes de lidar com tarefas que envolvem necessidades de informação ambíguas ou conhecimento não estruturado. Como resultado, os sistemas RAG existentes são principalmente eficazes para tarefas simples de pergunta e resposta. Neste trabalho, propomos o MemoRAG, um novo paradigma de geração aprimorada por recuperação, potencializado pela memória de longo prazo. O MemoRAG adota uma arquitetura de sistema duplo. Por um lado, utiliza um LLM leve, mas de longo alcance, para formar a memória global do banco de dados. Uma vez que uma tarefa é apresentada, gera respostas preliminares, orientando as ferramentas de recuperação a localizar informações úteis dentro do banco de dados. Por outro lado, aproveita um LLM caro, porém expressivo, que gera a resposta final com base nas informações recuperadas. Com base nesse framework geral, otimizamos ainda mais o desempenho do MemoRAG, aprimorando seu mecanismo de orientação e capacidade de memorização. Em nossos experimentos, o MemoRAG alcança um desempenho superior em uma variedade de tarefas de avaliação, incluindo tarefas complexas em que o RAG convencional falha e tarefas simples em que o RAG é comumente aplicado.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.