MemoRAG: Op weg naar Next-Gen RAG via geheugen-geïnspireerde kennisontdekking

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Auteurs: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) maakt gebruik van ophaalgereedschappen om externe databases te raadplegen, waardoor de generatiekwaliteit van grote taalmodellen (LLM's) wordt verbeterd door geoptimaliseerde context. De bestaande ophaalmethoden zijn echter inherent beperkt, omdat ze alleen relevantieovereenkomsten kunnen uitvoeren tussen expliciet geformuleerde vragen en goed gestructureerde kennis, maar niet in staat zijn om taken met ambiguïteit in informatiebehoeften of ongestructureerde kennis aan te pakken. Als gevolg hiervan zijn bestaande RAG-systemen voornamelijk effectief voor eenvoudige vraag-antwoordtaken. In dit werk stellen we MemoRAG voor, een nieuw ophaal-augmented generatieparadigma dat wordt versterkt door langetermijngeheugen. MemoRAG maakt gebruik van een dual-systeemarchitectuur. Enerzijds maakt het gebruik van een licht maar langbereik LLM om het globale geheugen van de database te vormen. Zodra een taak wordt gepresenteerd, genereert het conceptuele antwoorden, waardoor de ophaalgereedschappen nuttige informatie binnen de database kunnen lokaliseren. Anderzijds maakt het gebruik van een duur maar expressief LLM, dat het uiteindelijke antwoord genereert op basis van de opgehaalde informatie. Voortbouwend op dit algemene kader optimaliseren we verder de prestaties van MemoRAG door de cluing-mechanismen en memorisatiecapaciteit te verbeteren. In ons experiment behaalt MemoRAG superieure prestaties op verschillende evaluatietaken, waaronder zowel complexe taken waar conventionele RAG faalt als eenvoudige taken waar RAG doorgaans wordt toegepast.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.