Open-RAG: オープンソースの大規模言語モデルを用いた強化型検索増強推論
Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models
October 2, 2024
著者: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez
cs.AI
要旨
Retrieval-Augmented Generation（RAG）は、大規模言語モデル（LLM）の事実の正確さを向上させることが示されていますが、既存の手法は、特にオープンソースのLLMを使用する際に、取得した証拠を効果的に使用するための限られた推論能力に苦しんでいます。このギャップを緩和するために、私たちは、オープンソースのLLMと組み合わせてRAGの推論能力を向上させるために設計された新しいフレームワークであるOpen-RAGを導入します。当フレームワークは、任意の密なLLMを、複雑な推論タスクを処理できるパラメータ効率の良いスパースなエキスパートの混合モデル（MoE）に変換します。Open-RAGは、関連性があるように見えるが誤解を招く誘惑的な障害をナビゲートするようモデルを独自にトレーニングします。その結果、Open-RAGは潜在的な学習を活用し、適切なエキスパートを動的に選択し、外部知識を効果的に統合して、より正確で文脈に即した応答を実現します。さらに、リトリーバルの必要性を決定し、性能向上と推論速度のトレードオフをバランスするためのハイブリッド適応リトリーバル手法を提案します。実験結果は、Llama2-7BベースのOpen-RAGが、知識集約的なさまざまなタスクにおいて、ChatGPT、Self-RAG、Command R+などの最先端のLLMおよびRAGモデルを上回ることを示しています。私たちは、当該コードとモデルをhttps://openragmoe.github.io/ でオープンソース化しています。
English
Retrieval-Augmented Generation (RAG) has been shown to enhance the factual
accuracy of Large Language Models (LLMs), but existing methods often suffer
from limited reasoning capabilities in effectively using the retrieved
evidence, particularly when using open-source LLMs. To mitigate this gap, we
introduce a novel framework, Open-RAG, designed to enhance reasoning
capabilities in RAG with open-source LLMs. Our framework transforms an
arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE)
model capable of handling complex reasoning tasks, including both single- and
multi-hop queries. Open-RAG uniquely trains the model to navigate challenging
distractors that appear relevant but are misleading. As a result, Open-RAG
leverages latent learning, dynamically selecting relevant experts and
integrating external knowledge effectively for more accurate and contextually
relevant responses. In addition, we propose a hybrid adaptive retrieval method
to determine retrieval necessity and balance the trade-off between performance
gain and inference speed. Experimental results show that the Llama2-7B-based
Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT,
Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source
our code and models at https://openragmoe.github.io/