MemoRAG: Avanzando hacia la próxima generación de RAG a través del Descubrimiento de Conocimiento Inspirado en la Memoria

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Autores: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Resumen

La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) aprovecha herramientas de recuperación para acceder a bases de datos externas, mejorando así la calidad de generación de modelos de lenguaje grandes (LLMs) a través de un contexto optimizado. Sin embargo, los métodos de recuperación existentes están inherentemente limitados, ya que solo pueden realizar coincidencias de relevancia entre consultas explícitamente declaradas y conocimiento bien formado, pero no pueden manejar tareas que involucren necesidades de información ambiguas o conocimiento no estructurado. En consecuencia, los sistemas RAG existentes son principalmente efectivos para tareas sencillas de pregunta-respuesta. En este trabajo, proponemos MemoRAG, un paradigma novedoso de generación aumentada por recuperación potenciado por memoria a largo plazo. MemoRAG adopta una arquitectura de doble sistema. Por un lado, emplea un LLM ligero pero de largo alcance para formar la memoria global de la base de datos. Una vez que se presenta una tarea, genera respuestas preliminares, indicando a las herramientas de recuperación dónde localizar información útil dentro de la base de datos. Por otro lado, aprovecha un LLM costoso pero expresivo, que genera la respuesta final basada en la información recuperada. Sobre la base de este marco general, optimizamos aún más el rendimiento de MemoRAG mejorando su mecanismo de indicación y capacidad de memorización. En nuestro experimento, MemoRAG logra un rendimiento superior en una variedad de tareas de evaluación, incluidas las complejas en las que falla el RAG convencional y las sencillas en las que comúnmente se aplica el RAG.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.