MemoRAG: 기억을 영감으로 한 지식 발견을 통해 차세대 RAG로 나아가는 중

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

저자: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 데이터베이스에 액세스하기 위해 검색 도구를 활용하여 대규모 언어 모델(Large Language Models, LLMs)의 생성 품질을 최적의 맥락을 통해 향상시킵니다. 그러나 기존의 검색 방법은 본질적으로 제약이 있습니다. 명시적으로 명시된 쿼리와 잘 구성된 지식 간의 관련성 일치를 수행할 뿐, 모호한 정보 요구나 구조화되지 않은 지식을 다룰 수 없습니다. 따라서 기존의 RAG 시스템은 주로 간단한 질문-답변 작업에 효과적입니다. 본 연구에서는 장기 기억을 활용한 혁신적인 검색 증강 생성 패러다임인 MemoRAG를 제안합니다. MemoRAG는 이중 시스템 아키텍처를 채택합니다. 한편으로는 가벼우면서도 장거리 LLM을 사용하여 데이터베이스의 전역 메모리를 형성합니다. 작업이 제시되면 초안 답변을 생성하여 검색 도구가 데이터베이스 내 유용한 정보를 찾도록 안내합니다. 다른 한편으로는 고가이면서 표현력이 풍부한 LLM을 활용하여 검색된 정보를 기반으로 궁극적인 답변을 생성합니다. 이 일반적인 프레임워크를 기반으로 MemoRAG의 성능을 더욱 최적화하기 위해 안내 메커니즘과 기억 용량을 강화합니다. 실험 결과, MemoRAG는 기존 RAG가 실패하는 복잡한 작업과 RAG가 일반적으로 적용되는 간단한 작업을 포함한 다양한 평가 작업에서 우수한 성능을 달성합니다.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.