Fundición RAG: Un marco para mejorar los LLMs para Generación con Recuperación Aumentada

RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation

August 5, 2024

Autores: Daniel Fleischer, Moshe Berchansky, Moshe Wasserblat, Peter Izsak

cs.AI

Resumen

Implementar sistemas de Generación con Recuperación (RAG) es inherentemente complejo, requiriendo un profundo entendimiento de los datos, casos de uso y decisiones de diseño intrincadas. Además, evaluar estos sistemas presenta desafíos significativos, exigiendo la evaluación tanto de la precisión de la recuperación como de la calidad generativa a través de un enfoque multifacético. Presentamos RAG Foundry, un marco de trabajo de código abierto para potenciar modelos de lenguaje grandes para casos de uso de RAG. RAG Foundry integra la creación de datos, entrenamiento, inferencia y evaluación en un flujo de trabajo único, facilitando la creación de conjuntos de datos aumentados por datos para entrenar y evaluar modelos de lenguaje grandes en entornos de RAG. Esta integración permite el prototipado rápido y la experimentación con diversas técnicas de RAG, permitiendo a los usuarios generar conjuntos de datos y entrenar modelos de RAG utilizando fuentes de conocimiento internas o especializadas. Demostramos la efectividad del marco potenciando y ajustando los modelos Llama-3 y Phi-3 con diversas configuraciones de RAG, mostrando mejoras consistentes en tres conjuntos de datos intensivos en conocimiento. El código se publica como código abierto en https://github.com/IntelLabs/RAGFoundry.

English

Implementing Retrieval-Augmented Generation (RAG) systems is inherently complex, requiring deep understanding of data, use cases, and intricate design decisions. Additionally, evaluating these systems presents significant challenges, necessitating assessment of both retrieval accuracy and generative quality through a multi-faceted approach. We introduce RAG Foundry, an open-source framework for augmenting large language models for RAG use cases. RAG Foundry integrates data creation, training, inference and evaluation into a single workflow, facilitating the creation of data-augmented datasets for training and evaluating large language models in RAG settings. This integration enables rapid prototyping and experimentation with various RAG techniques, allowing users to easily generate datasets and train RAG models using internal or specialized knowledge sources. We demonstrate the framework effectiveness by augmenting and fine-tuning Llama-3 and Phi-3 models with diverse RAG configurations, showcasing consistent improvements across three knowledge-intensive datasets. Code is released as open-source in https://github.com/IntelLabs/RAGFoundry.