MemoRAG: Переход к RAG следующего поколения через обнаружение знаний, вдохновленных памятью

MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery

September 9, 2024

Авторы: Hongjin Qian, Peitian Zhang, Zheng Liu, Kelong Mao, Zhicheng Dou

cs.AI

Аннотация

Метод «Поиск с улучшенной генерацией» (RAG) использует инструменты поиска для доступа к внешним базам данных, тем самым повышая качество генерации больших языковых моделей (LLM) за счет оптимизированного контекста. Однако существующие методы поиска имеют врожденные ограничения, поскольку они могут выполнять только сопоставление релевантности между явно указанными запросами и хорошо структурированными знаниями, но не способны обрабатывать задачи, требующие неоднозначной информации или неструктурированных знаний. В результате существующие системы RAG в основном эффективны для простых задач вопросно-ответного характера. В данной работе мы предлагаем MemoRAG, новую парадигму поиска с улучшенной генерацией, усиленную долговременной памятью. MemoRAG использует двойную архитектуру. С одной стороны, он использует легкую, но дальнодействующую LLM для формирования глобальной памяти базы данных. Как только поставлена задача, он генерирует черновые ответы, указывая инструментам поиска на поиск полезной информации в базе данных. С другой стороны, он использует дорогостоящую, но выразительную LLM, которая генерирует окончательный ответ на основе полученной информации. На основе этой общей структуры мы дополнительно оптимизируем производительность MemoRAG путем улучшения его механизма указания и емкости запоминания. В нашем эксперименте MemoRAG достигает превосходных результатов в различных задачах оценки, включая как сложные, в которых традиционный RAG не справляется, так и простые, где обычно применяется RAG.

English

Retrieval-Augmented Generation (RAG) leverages retrieval tools to access external databases, thereby enhancing the generation quality of large language models (LLMs) through optimized context. However, the existing retrieval methods are constrained inherently, as they can only perform relevance matching between explicitly stated queries and well-formed knowledge, but unable to handle tasks involving ambiguous information needs or unstructured knowledge. Consequently, existing RAG systems are primarily effective for straightforward question-answering tasks. In this work, we propose MemoRAG, a novel retrieval-augmented generation paradigm empowered by long-term memory. MemoRAG adopts a dual-system architecture. On the one hand, it employs a light but long-range LLM to form the global memory of database. Once a task is presented, it generates draft answers, cluing the retrieval tools to locate useful information within the database. On the other hand, it leverages an expensive but expressive LLM, which generates the ultimate answer based on the retrieved information. Building on this general framework, we further optimize MemoRAG's performance by enhancing its cluing mechanism and memorization capacity. In our experiment, MemoRAG achieves superior performance across a variety of evaluation tasks, including both complex ones where conventional RAG fails and straightforward ones where RAG is commonly applied.