Open-RAG : Raisonnement Amélioré avec Récupération Augmentée en utilisant des Modèles de Langage à Grande Échelle en Open Source

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

Auteurs: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

Résumé

La Génération Améliorée par Récupération (RAG) a été démontrée pour améliorer la précision factuelle des Grands Modèles de Langage (LLMs), mais les méthodes existantes souffrent souvent de capacités de raisonnement limitées dans l'utilisation efficace des preuves récupérées, en particulier lors de l'utilisation de LLMs open-source. Pour pallier à cette lacune, nous introduisons un nouveau cadre, Open-RAG, conçu pour améliorer les capacités de raisonnement dans RAG avec des LLMs open-source. Notre cadre transforme un LLM dense arbitraire en un modèle de mélange d'experts (MoE) parcimonieux et efficace en paramètres capable de traiter des tâches de raisonnement complexes, y compris les requêtes à un ou plusieurs sauts. Open-RAG entraîne de manière unique le modèle à naviguer dans des distracteurs difficiles qui semblent pertinents mais sont trompeurs. En conséquence, Open-RAG exploite l'apprentissage latent, sélectionnant dynamiquement des experts pertinents et intégrant efficacement des connaissances externes pour des réponses plus précises et contextuellement pertinentes. De plus, nous proposons une méthode de récupération adaptative hybride pour déterminer la nécessité de la récupération et équilibrer le compromis entre le gain de performance et la vitesse d'inférence. Les résultats expérimentaux montrent que Open-RAG basé sur Llama2-7B surpasse les LLMs et les modèles RAG de pointe tels que ChatGPT, Self-RAG et Command R+ dans diverses tâches intensives en connaissances. Nous rendons notre code et nos modèles open-source disponibles sur https://openragmoe.github.io/

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/