MemoRAG: Procedendo verso il RAG di prossima generazione tramite la scoperta della conoscenza ispirata alla memoria

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Autori: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Abstract

Il Generatore potenziato da Recupero (RAG) sfrutta strumenti di recupero per accedere a basi di dati esterne, migliorando così la qualità della generazione dei modelli di linguaggio di grandi dimensioni (LLM) attraverso un contesto ottimizzato. Tuttavia, i metodi di recupero esistenti sono intrinsecamente limitati, poiché possono solo eseguire il matching di rilevanza tra query esplicitamente indicate e conoscenze ben strutturate, ma non sono in grado di gestire compiti che coinvolgono esigenze di informazioni ambigue o conoscenze non strutturate. Di conseguenza, i sistemi RAG esistenti sono principalmente efficaci per compiti di domande e risposte dirette. In questo lavoro, proponiamo MemoRAG, un nuovo paradigma di generazione potenziato da recupero potenziato dalla memoria a lungo termine. MemoRAG adotta un'architettura a doppio sistema. Da un lato, impiega un LLM leggero ma a lungo raggio per formare la memoria globale del database. Una volta presentato un compito, genera bozze di risposte, guidando gli strumenti di recupero per individuare informazioni utili all'interno del database. Dall'altro lato, sfrutta un LLM costoso ma espressivo, che genera la risposta finale basandosi sulle informazioni recuperate. Basandoci su questo quadro generale, ottimizziamo ulteriormente le prestazioni di MemoRAG potenziando il suo meccanismo di guida e la capacità di memorizzazione. Nei nostri esperimenti, MemoRAG ottiene prestazioni superiori in una varietà di compiti di valutazione, inclusi quelli complessi in cui falliscono i RAG convenzionali e quelli diretti in cui RAG è comunemente impiegato.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.