RAGファウンドリー：検索拡張生成のためのLLM強化フレームワーク

RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation

August 5, 2024

著者: Daniel Fleischer, Moshe Berchansky, Moshe Wasserblat, Peter Izsak

cs.AI

要旨

Retrieval-Augmented Generation（RAG）システムの実装は本質的に複雑であり、データ、ユースケース、そして複雑な設計判断に対する深い理解を必要とします。さらに、これらのシステムの評価は大きな課題を伴い、検索精度と生成品質の両方を多面的なアプローチで評価する必要があります。本稿では、RAGユースケース向けに大規模言語モデルを拡張するためのオープンソースフレームワークであるRAG Foundryを紹介します。RAG Foundryは、データ作成、トレーニング、推論、評価を単一のワークフローに統合し、RAG設定における大規模言語モデルのトレーニングと評価のためのデータ拡張データセットの作成を容易にします。この統合により、さまざまなRAG技術の迅速なプロトタイピングと実験が可能となり、ユーザーは内部または専門的な知識源を使用して簡単にデータセットを生成し、RAGモデルをトレーニングできます。本フレームワークの有効性を、Llama-3およびPhi-3モデルを多様なRAG構成で拡張およびファインチューニングすることで実証し、3つの知識集約型データセットにわたる一貫した改善を示します。コードはhttps://github.com/IntelLabs/RAGFoundryでオープンソースとして公開されています。

English

Implementing Retrieval-Augmented Generation (RAG) systems is inherently complex, requiring deep understanding of data, use cases, and intricate design decisions. Additionally, evaluating these systems presents significant challenges, necessitating assessment of both retrieval accuracy and generative quality through a multi-faceted approach. We introduce RAG Foundry, an open-source framework for augmenting large language models for RAG use cases. RAG Foundry integrates data creation, training, inference and evaluation into a single workflow, facilitating the creation of data-augmented datasets for training and evaluating large language models in RAG settings. This integration enables rapid prototyping and experimentation with various RAG techniques, allowing users to easily generate datasets and train RAG models using internal or specialized knowledge sources. We demonstrate the framework effectiveness by augmenting and fine-tuning Llama-3 and Phi-3 models with diverse RAG configurations, showcasing consistent improvements across three knowledge-intensive datasets. Code is released as open-source in https://github.com/IntelLabs/RAGFoundry.