MemoRAG: メモリーに着想を得た知識発見を通じて次世代RAGに向けて進む

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

著者: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

要旨

Retrieval-Augmented Generation（RAG）は、外部データベースにアクセスするために検索ツールを活用し、最適化されたコンテキストを通じて大規模言語モデル（LLMs）の生成品質を向上させます。ただし、既存の検索方法は、明示的に述べられたクエリと整形された知識との関連性マッチングしか行えないため、曖昧な情報ニーズや非構造化された知識を扱うことができません。その結果、既存のRAGシステムは主に単純な質問応答タスクに効果的です。本研究では、長期記憶によって強化された新しい検索増強生成パラダイムであるMemoRAGを提案します。MemoRAGは、デュアルシステムアーキテクチャを採用しています。一方で、軽量ながら長距離のLLMを使用してデータベースのグローバルメモリを形成します。タスクが提示されると、ドラフト回答を生成し、検索ツールにデータベース内の有用な情報を見つける手掛かりを与えます。他方で、高価だが表現力豊かなLLMを活用し、取得した情報に基づいて究極の回答を生成します。この一般的なフレームワークを基に、MemoRAGの性能をさらに最適化するために、手掛かりメカニズムと記憶容量を強化しています。実験では、MemoRAGが、従来のRAGが失敗する複雑なタスクや、RAGが一般的に適用される単純なタスクを含むさまざまな評価タスクで優れたパフォーマンスを達成しています。

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.