MemoRAG : Vers la prochaine génération de RAG grâce à la découverte de connaissances inspirées par la mémoire

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Auteurs: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Résumé

La Génération Augmentée par Récupération (RAG) exploite des outils de récupération pour accéder à des bases de données externes, améliorant ainsi la qualité de génération des grands modèles de langage (LLMs) grâce à un contexte optimisé. Cependant, les méthodes de récupération existantes sont intrinsèquement limitées, car elles ne peuvent effectuer que des correspondances de pertinence entre des requêtes explicitement formulées et des connaissances bien structurées, mais ne peuvent pas gérer les tâches impliquant des besoins en informations ambigus ou des connaissances non structurées. Par conséquent, les systèmes RAG existants sont principalement efficaces pour les tâches de question-réponse simples. Dans ce travail, nous proposons MemoRAG, un nouveau paradigme de génération augmentée par récupération renforcé par une mémoire à long terme. MemoRAG adopte une architecture à double système. D'une part, il utilise un LLM léger mais à longue portée pour former la mémoire globale de la base de données. Une fois une tâche présentée, il génère des réponses préliminaires, indiquant aux outils de récupération où trouver des informations utiles dans la base de données. D'autre part, il exploite un LLM coûteux mais expressif, qui génère la réponse finale en fonction des informations récupérées. En s'appuyant sur ce cadre général, nous optimisons davantage les performances de MemoRAG en améliorant son mécanisme d'indication et sa capacité de mémorisation. Dans notre expérience, MemoRAG obtient des performances supérieures dans une variété de tâches d'évaluation, y compris des tâches complexes où les RAG conventionnels échouent et des tâches simples où les RAG sont couramment appliqués.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.