Verso l'Allineamento Generale per l'Instradamento dell'Istruzione per la Generazione Potenziata dal Recupero

Toward General Instruction-Following Alignment for Retrieval-Augmented Generation

October 12, 2024

Autori: Guanting Dong, Xiaoshuai Song, Yutao Zhu, Runqi Qiao, Zhicheng Dou, Ji-Rong Wen

cs.AI

Abstract

Seguire istruzioni naturali è cruciale per l'applicazione efficace dei sistemi di Generazione con Recupero potenziato (RAG). Nonostante i recenti progressi nei Grandi Modelli Linguistici (LLM), la ricerca sull'valutazione e miglioramento dell'allineamento con il seguire istruzioni (IF) nel dominio RAG rimane limitata. Per affrontare questo problema, proponiamo VIF-RAG, il primo pipeline sintetico automatizzato, scalabile e verificabile per l'allineamento con il seguire istruzioni nei sistemi RAG. Iniziamo creando manualmente un insieme minimo di istruzioni atomiche (<100) e sviluppando regole di combinazione per sintetizzare e verificare istruzioni complesse per un insieme iniziale. Successivamente utilizziamo modelli supervisionati per la riscrittura delle istruzioni, generando contemporaneamente codice per automatizzare la verifica della qualità delle istruzioni tramite un esecutore Python. Infine, integriamo queste istruzioni con ampie campionature di dati RAG e generali, scalando fino a un dataset VIF-RAG-QA di alta qualità (>100k) attraverso processi automatizzati. Per colmare ulteriormente il divario nell'autovalutazione del seguire istruzioni per i sistemi RAG, introduciamo il Benchmark FollowRAG, che include circa 3K campioni di test, coprendo 22 categorie di vincoli di istruzioni generali e quattro dataset QA intensivi di conoscenza. Grazie al robusto design del pipeline di FollowRAG, può integrarsi senza soluzione di continuità con diversi benchmark RAG. Utilizzando FollowRAG e otto benchmark ampiamente utilizzati per le capacità IF e fondamentali dei LLM, dimostriamo che VIF-RAG migliora notevolmente le prestazioni dei LLM su una vasta gamma di vincoli di istruzioni generali, sfruttando efficacemente le sue capacità in scenari RAG. Un'ulteriore analisi offre spunti pratici per raggiungere l'allineamento con il seguire istruzioni nei sistemi RAG. Il nostro codice e i dataset sono disponibili su https://FollowRAG.github.io.

English

Following natural instructions is crucial for the effective application of Retrieval-Augmented Generation (RAG) systems. Despite recent advancements in Large Language Models (LLMs), research on assessing and improving instruction-following (IF) alignment within the RAG domain remains limited. To address this issue, we propose VIF-RAG, the first automated, scalable, and verifiable synthetic pipeline for instruction-following alignment in RAG systems. We start by manually crafting a minimal set of atomic instructions (<100) and developing combination rules to synthesize and verify complex instructions for a seed set. We then use supervised models for instruction rewriting while simultaneously generating code to automate the verification of instruction quality via a Python executor. Finally, we integrate these instructions with extensive RAG and general data samples, scaling up to a high-quality VIF-RAG-QA dataset (>100k) through automated processes. To further bridge the gap in instruction-following auto-evaluation for RAG systems, we introduce FollowRAG Benchmark, which includes approximately 3K test samples, covering 22 categories of general instruction constraints and four knowledge-intensive QA datasets. Due to its robust pipeline design, FollowRAG can seamlessly integrate with different RAG benchmarks. Using FollowRAG and eight widely-used IF and foundational abilities benchmarks for LLMs, we demonstrate that VIF-RAG markedly enhances LLM performance across a broad range of general instruction constraints while effectively leveraging its capabilities in RAG scenarios. Further analysis offers practical insights for achieving IF alignment in RAG systems. Our code and datasets are released at https://FollowRAG.github.io.