Open-RAG: Verbesserte Abruf-erweiterte Argumentation mit Open-Source-großen Sprachmodellen

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

Autoren: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

Zusammenfassung

Die Retrieval-gestützte Generierung (RAG) hat sich als förderlich für die faktische Genauigkeit von Large Language Models (LLMs) erwiesen, aber bestehende Methoden leiden oft unter begrenzten Schlussfolgerungsfähigkeiten bei der effektiven Nutzung der abgerufenen Beweise, insbesondere bei der Verwendung von Open-Source LLMs. Um diese Lücke zu überbrücken, stellen wir ein neuartiges Framework namens Open-RAG vor, das darauf abzielt, die Schlussfolgerungsfähigkeiten in RAG mit Open-Source LLMs zu verbessern. Unser Framework wandelt ein beliebiges dichtes LLM in ein parameter-effizientes, spärliches Mixture-of-Experts (MoE)-Modell um, das komplexe Schlussfolgerungsaufgaben bewältigen kann, einschließlich Ein- und Mehrfachsprungabfragen. Open-RAG trainiert das Modell auf einzigartige Weise, um mit herausfordernden Ablenkungen umzugehen, die relevant erscheinen, aber irreführend sind. Als Ergebnis nutzt Open-RAG latentes Lernen, indem es relevante Experten dynamisch auswählt und externes Wissen effektiv für genauere und kontextuell relevante Antworten integriert. Darüber hinaus schlagen wir eine hybride adaptive Abrufmethode vor, um die Abrufnotwendigkeit zu bestimmen und den Kompromiss zwischen Leistungssteigerung und Inferenzgeschwindigkeit auszubalancieren. Experimentelle Ergebnisse zeigen, dass das auf Llama2-7B basierende Open-RAG die modernsten LLMs und RAG-Modelle wie ChatGPT, Self-RAG und Command R+ in verschiedenen wissensintensiven Aufgaben übertrifft. Wir stellen unseren Code und unsere Modelle unter https://openragmoe.github.io/ als Open Source zur Verfügung.

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/