Open-RAG: Razonamiento Mejorado con Recuperación Aumentada utilizando Modelos de Lenguaje de Código Abierto de Gran Escala

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

Autores: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

Resumen

Se ha demostrado que la Generación con Recuperación Aumentada (RAG) mejora la precisión factual de los Modelos de Lenguaje Grandes (LLMs), pero los métodos existentes a menudo sufren de capacidades de razonamiento limitadas en el uso efectivo de la evidencia recuperada, especialmente al utilizar LLMs de código abierto. Para mitigar esta brecha, presentamos un nuevo marco, Open-RAG, diseñado para mejorar las capacidades de razonamiento en RAG con LLMs de código abierto. Nuestro marco transforma un LLM denso arbitrario en un modelo de mezcla de expertos (MoE) escaso y eficiente en parámetros capaz de manejar tareas de razonamiento complejas, incluyendo consultas de un solo y múltiples saltos. Open-RAG entrena de manera única al modelo para navegar distracciones desafiantes que parecen relevantes pero son engañosas. Como resultado, Open-RAG aprovecha el aprendizaje latente, seleccionando dinámicamente expertos relevantes e integrando conocimiento externo de manera efectiva para respuestas más precisas y contextualmente relevantes. Además, proponemos un método de recuperación adaptativa híbrido para determinar la necesidad de recuperación y equilibrar la compensación entre el aumento de rendimiento y la velocidad de inferencia. Los resultados experimentales muestran que Open-RAG basado en Llama2-7B supera a los LLMs y modelos RAG de última generación como ChatGPT, Self-RAG y Command R+ en varias tareas intensivas en conocimiento. Ponemos nuestro código y modelos de código abierto en https://openragmoe.github.io/

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/