Open-RAG: Verbeterde Ophaalversterkte Redenering met Open-Source Grote Taalmodellen

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

Auteurs: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

Samenvatting

Het Retrieval-Augmented Generation (RAG) is aangetoond de feitelijke nauwkeurigheid van Grote Taalmodellen (LLM's) te verbeteren, maar bestaande methoden hebben vaak beperkte redeneervermogens bij het effectief gebruiken van het opgehaalde bewijs, vooral bij het gebruik van open-source LLM's. Om dit hiaat te verhelpen, introduceren we een nieuw raamwerk, Open-RAG, dat is ontworpen om redeneervermogens in RAG te verbeteren met open-source LLM's. Ons raamwerk transformeert een willekeurig dicht LLM in een parameter-efficiënt schaars mengmodel van experts (MoE) dat in staat is complexe redeneertaken aan te pakken, inclusief zowel enkelvoudige als meerstaps vragen. Open-RAG traint het model op unieke wijze om uitdagende afleiders te navigeren die relevant lijken maar misleidend zijn. Als gevolg hiervan maakt Open-RAG gebruik van latent leren, waarbij dynamisch relevante experts worden geselecteerd en externe kennis effectief wordt geïntegreerd voor nauwkeurigere en contextueel relevante antwoorden. Daarnaast stellen we een hybride adaptieve ophaalmethode voor om de noodzaak van ophalen te bepalen en de afweging tussen prestatiewinst en inferentiesnelheid in evenwicht te brengen. Experimentele resultaten tonen aan dat het op Llama2-7B gebaseerde Open-RAG beter presteert dan toonaangevende LLM's en RAG-modellen zoals ChatGPT, Self-RAG en Command R+ in verschillende kennisintensieve taken. We maken onze code en modellen open-source beschikbaar op https://openragmoe.github.io/

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/