MemoRAG: Auf dem Weg zu Next-Gen RAG durch wissensbasierte Entdeckung inspiriert von Gedächtnis

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Autoren: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Zusammenfassung

Die Retrieval-gestützte Generierung (RAG) nutzt Abrufwerkzeuge, um auf externe Datenbanken zuzugreifen und damit die Generierungsqualität großer Sprachmodelle (LLMs) durch optimierten Kontext zu verbessern. Die bestehenden Abrufmethoden sind jedoch inhärent eingeschränkt, da sie nur Relevanzabgleiche zwischen explizit angegebenen Abfragen und gut strukturiertem Wissen durchführen können, aber nicht in der Lage sind, Aufgaben mit unklaren Informationsbedürfnissen oder unstrukturiertem Wissen zu bewältigen. Folglich sind bestehende RAG-Systeme hauptsächlich für einfache Frage-Antwort-Aufgaben effektiv. In dieser Arbeit schlagen wir MemoRAG vor, ein neuartiges, durch Langzeitgedächtnis gestütztes Abruf-Generierungs-Paradigma. MemoRAG verwendet eine Dualsystem-Architektur. Einerseits setzt es ein leichtes, aber weitreichendes LLM ein, um das globale Gedächtnis der Datenbank zu bilden. Sobald eine Aufgabe präsentiert wird, generiert es erste Antworten und gibt den Abrufwerkzeugen Hinweise, um nützliche Informationen in der Datenbank zu finden. Andererseits nutzt es ein teures, aber ausdrucksstarkes LLM, das die endgültige Antwort basierend auf den abgerufenen Informationen generiert. Aufbauend auf diesem allgemeinen Rahmen optimieren wir weiter die Leistung von MemoRAG, indem wir den Hinweismechanismus und die Merkfähigkeit verbessern. In unserem Experiment erzielt MemoRAG eine überlegene Leistung bei einer Vielzahl von Evaluationsaufgaben, einschließlich komplexer Aufgaben, bei denen herkömmliche RAG versagen, und einfacher Aufgaben, bei denen RAG üblicherweise angewendet wird.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.