Vers un Alignement Général de Suivi d'Instructions pour la Génération Augmentée par Récupération

Toward General Instruction-Following Alignment for Retrieval-Augmented Generation

October 12, 2024

Auteurs: Guanting Dong, Xiaoshuai Song, Yutao Zhu, Runqi Qiao, Zhicheng Dou, Ji-Rong Wen

cs.AI

Résumé

Suivre les instructions naturelles est crucial pour l'application efficace des systèmes de Génération Augmentée par Récupération (RAG). Malgré les récents progrès dans les Grands Modèles de Langage (LLM), la recherche sur l'évaluation et l'amélioration de l'alignement de suivi des instructions (IF) dans le domaine RAG reste limitée. Pour résoudre ce problème, nous proposons VIF-RAG, le premier pipeline synthétique automatisé, évolutif et vérifiable pour l'alignement de suivi des instructions dans les systèmes RAG. Nous commençons par créer manuellement un ensemble minimal d'instructions atomiques (<100) et développons des règles de combinaison pour synthétiser et vérifier des instructions complexes pour un ensemble de départ. Ensuite, nous utilisons des modèles supervisés pour la réécriture des instructions tout en générant simultanément du code pour automatiser la vérification de la qualité des instructions via un exécuteur Python. Enfin, nous intégrons ces instructions avec des échantillons de données RAG et générales étendus, en montant en échelle vers un ensemble de données VIF-RAG-QA de haute qualité (>100k) via des processus automatisés. Pour combler davantage le fossé dans l'auto-évaluation du suivi des instructions pour les systèmes RAG, nous introduisons le Benchmark FollowRAG, qui comprend environ 3K échantillons de test, couvrant 22 catégories de contraintes d'instructions générales et quatre ensembles de données QA intensifs en connaissances. Grâce à sa conception de pipeline robuste, FollowRAG peut s'intégrer parfaitement à différents benchmarks RAG. En utilisant FollowRAG et huit benchmarks largement utilisés pour les LLM, nous démontrons que VIF-RAG améliore nettement les performances des LLM sur un large éventail de contraintes d'instructions générales tout en exploitant efficacement ses capacités dans des scénarios RAG. Une analyse plus approfondie offre des perspectives pratiques pour atteindre l'alignement IF dans les systèmes RAG. Notre code et nos ensembles de données sont disponibles sur https://FollowRAG.github.io.

English

Following natural instructions is crucial for the effective application of Retrieval-Augmented Generation (RAG) systems. Despite recent advancements in Large Language Models (LLMs), research on assessing and improving instruction-following (IF) alignment within the RAG domain remains limited. To address this issue, we propose VIF-RAG, the first automated, scalable, and verifiable synthetic pipeline for instruction-following alignment in RAG systems. We start by manually crafting a minimal set of atomic instructions (<100) and developing combination rules to synthesize and verify complex instructions for a seed set. We then use supervised models for instruction rewriting while simultaneously generating code to automate the verification of instruction quality via a Python executor. Finally, we integrate these instructions with extensive RAG and general data samples, scaling up to a high-quality VIF-RAG-QA dataset (>100k) through automated processes. To further bridge the gap in instruction-following auto-evaluation for RAG systems, we introduce FollowRAG Benchmark, which includes approximately 3K test samples, covering 22 categories of general instruction constraints and four knowledge-intensive QA datasets. Due to its robust pipeline design, FollowRAG can seamlessly integrate with different RAG benchmarks. Using FollowRAG and eight widely-used IF and foundational abilities benchmarks for LLMs, we demonstrate that VIF-RAG markedly enhances LLM performance across a broad range of general instruction constraints while effectively leveraging its capabilities in RAG scenarios. Further analysis offers practical insights for achieving IF alignment in RAG systems. Our code and datasets are released at https://FollowRAG.github.io.