Hacia la Alineación General de Seguimiento de Instrucciones para la Generación Aumentada por Recuperación.

Toward General Instruction-Following Alignment for Retrieval-Augmented Generation

October 12, 2024

Autores: Guanting Dong, Xiaoshuai Song, Yutao Zhu, Runqi Qiao, Zhicheng Dou, Ji-Rong Wen

cs.AI

Resumen

Seguir instrucciones naturales es crucial para la aplicación efectiva de los sistemas de Generación con Recuperación Aumentada (RAG). A pesar de los avances recientes en Modelos de Lenguaje Grandes (LLMs), la investigación sobre la evaluación y mejora de la alineación en el seguimiento de instrucciones (IF) dentro del dominio RAG sigue siendo limitada. Para abordar este problema, proponemos VIF-RAG, la primera canalización sintética automatizada, escalable y verificable para la alineación en el seguimiento de instrucciones en sistemas RAG. Comenzamos creando manualmente un conjunto mínimo de instrucciones atómicas (<100) y desarrollando reglas de combinación para sintetizar y verificar instrucciones complejas para un conjunto inicial. Luego utilizamos modelos supervisados para la reescritura de instrucciones mientras generamos código para automatizar la verificación de la calidad de las instrucciones a través de un ejecutor de Python. Finalmente, integramos estas instrucciones con amplias muestras de datos generales y RAG, escalando a un conjunto de datos VIF-RAG-QA de alta calidad (>100k) a través de procesos automatizados. Para cerrar la brecha en la autoevaluación del seguimiento de instrucciones para sistemas RAG, presentamos el Benchmark FollowRAG, que incluye aproximadamente 3K muestras de prueba, cubriendo 22 categorías de restricciones de instrucciones generales y cuatro conjuntos de datos de preguntas y respuestas intensivas en conocimiento. Debido a su sólido diseño de canalización, FollowRAG puede integrarse fácilmente con diferentes benchmarks de RAG. Utilizando FollowRAG y ocho benchmarks ampliamente utilizados de habilidades fundamentales y de seguimiento de instrucciones para LLMs, demostramos que VIF-RAG mejora notablemente el rendimiento de los LLMs en una amplia gama de restricciones de instrucciones generales, aprovechando eficazmente sus capacidades en escenarios RAG. Un análisis adicional ofrece ideas prácticas para lograr la alineación en el seguimiento de instrucciones en sistemas RAG. Nuestro código y conjuntos de datos están disponibles en https://FollowRAG.github.io.

English

Following natural instructions is crucial for the effective application of Retrieval-Augmented Generation (RAG) systems. Despite recent advancements in Large Language Models (LLMs), research on assessing and improving instruction-following (IF) alignment within the RAG domain remains limited. To address this issue, we propose VIF-RAG, the first automated, scalable, and verifiable synthetic pipeline for instruction-following alignment in RAG systems. We start by manually crafting a minimal set of atomic instructions (<100) and developing combination rules to synthesize and verify complex instructions for a seed set. We then use supervised models for instruction rewriting while simultaneously generating code to automate the verification of instruction quality via a Python executor. Finally, we integrate these instructions with extensive RAG and general data samples, scaling up to a high-quality VIF-RAG-QA dataset (>100k) through automated processes. To further bridge the gap in instruction-following auto-evaluation for RAG systems, we introduce FollowRAG Benchmark, which includes approximately 3K test samples, covering 22 categories of general instruction constraints and four knowledge-intensive QA datasets. Due to its robust pipeline design, FollowRAG can seamlessly integrate with different RAG benchmarks. Using FollowRAG and eight widely-used IF and foundational abilities benchmarks for LLMs, we demonstrate that VIF-RAG markedly enhances LLM performance across a broad range of general instruction constraints while effectively leveraging its capabilities in RAG scenarios. Further analysis offers practical insights for achieving IF alignment in RAG systems. Our code and datasets are released at https://FollowRAG.github.io.