Comprendre les besoins des LLM : Alignement des préférences doubles pour la génération augmentée par la recherche

Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation

June 26, 2024

Auteurs: Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen

cs.AI

Résumé

La génération augmentée par récupération (RAG) a démontré son efficacité pour atténuer le problème d'hallucination des grands modèles de langage (LLM). Cependant, la difficulté d'aligner le récupérateur avec les préférences de connaissances variées des LLM pose un défi inévitable dans le développement d'un système RAG fiable. Pour résoudre ce problème, nous proposons DPA-RAG, un cadre universel conçu pour aligner les diverses préférences de connaissances au sein des systèmes RAG. Plus précisément, nous introduisons d'abord un pipeline de construction de connaissances préférentielles et intégrons cinq nouvelles stratégies d'augmentation de requêtes pour atténuer la rareté des données préférentielles. Sur la base des données préférentielles, DPA-RAG réalise à la fois un alignement préférentiel externe et interne : 1) Il intègre conjointement des capacités d'alignement préférentiel par paires, par points et contrastives dans le rerankeur, permettant un alignement externe entre les composants RAG. 2) Il introduit en outre une étape de pré-alignement avant le réglage fin supervisé (SFT) classique, permettant aux LLM de capturer implicitement des connaissances alignées avec leurs préférences de raisonnement, réalisant ainsi un alignement interne des LLM. Les résultats expérimentaux sur quatre ensembles de données de questions-réponses intensives en connaissances montrent que DPA-RAG surpasse toutes les méthodes de référence et intègre de manière transparente à la fois les lecteurs LLM en boîte noire et open-source. Une analyse qualitative approfondie et des discussions fournissent également des orientations empiriques pour la réalisation de systèmes RAG fiables. Notre code est disponible publiquement à l'adresse https://github.com/dongguanting/DPA-RAG.

English

Retrieval-augmented generation (RAG) has demonstrated effectiveness in mitigating the hallucination problem of large language models (LLMs). However, the difficulty of aligning the retriever with the diverse LLMs' knowledge preferences inevitably poses an inevitable challenge in developing a reliable RAG system. To address this issue, we propose DPA-RAG, a universal framework designed to align diverse knowledge preferences within RAG systems. Specifically, we initially introduce a preference knowledge construction pipline and incorporate five novel query augmentation strategies to alleviate preference data scarcity. Based on preference data, DPA-RAG accomplishes both external and internal preference alignment: 1) It jointly integrate pair-wise, point-wise, and contrastive preference alignment abilities into the reranker, achieving external preference alignment among RAG components. 2) It further introduces a pre-aligned stage before vanilla Supervised Fine-tuning (SFT), enabling LLMs to implicitly capture knowledge aligned with their reasoning preferences, achieving LLMs' internal alignment. Experimental results across four knowledge-intensive QA datasets demonstrate that DPA-RAG outperforms all baselines and seamlessly integrates both black-box and open-sourced LLM readers. Further qualitative analysis and discussions also provide empirical guidance for achieving reliable RAG systems. Our code is publicly available at https://github.com/dongguanting/DPA-RAG.