Open-RAG: Улучшенное извлечение-дополненное рассуждение с открытыми исходными кодами больших языковых моделей.

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

Авторы: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

Аннотация

Извлечение с усилением генерации (RAG) показало себя как способ улучшения фактической точности больших языковых моделей (LLM), однако существующие методы часто страдают от ограниченных способностей рассуждения в эффективном использовании извлеченных доказательств, особенно при использовании открытых LLM. Для устранения этого разрыва мы представляем новую структуру, Open-RAG, разработанную для улучшения способностей рассуждения в RAG с открытыми LLM. Наша структура преобразует произвольный плотный LLM в параметрически эффективную разреженную модель смеси экспертов (MoE), способную обрабатывать сложные задачи рассуждения, включая одно- и многошаговые запросы. Open-RAG уникально обучает модель на навигацию в сложных отвлекающих элементах, которые кажутся релевантными, но вводят в заблуждение. В результате Open-RAG использует скрытое обучение, динамически выбирая соответствующих экспертов и эффективно интегрируя внешние знания для более точных и контекстно релевантных ответов. Кроме того, мы предлагаем гибридный адаптивный метод извлечения для определения необходимости извлечения и балансировки компромисса между повышением производительности и скоростью вывода. Экспериментальные результаты показывают, что Open-RAG на основе Llama2-7B превосходит современные LLM и модели RAG, такие как ChatGPT, Self-RAG и Command R+, в различных задачах, требующих знаний. Мы предоставляем наш код и модели с открытым исходным кодом на https://openragmoe.github.io/

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/