Verstehen, was LLM braucht: Duale Präferenzausrichtung für die Generierung mit erweitertem Abruf

Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation

June 26, 2024

Autoren: Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen

cs.AI

Zusammenfassung

Die Retrieval-erweiterte Generierung (RAG) hat sich als wirksam erwiesen, um das Halluzinationsproblem großer Sprachmodelle (LLMs) zu mildern. Die Schwierigkeit, den Rekurrenten mit den vielfältigen Wissenspräferenzen der LLMs in Einklang zu bringen, stellt jedoch zwangsläufig eine Herausforderung bei der Entwicklung eines zuverlässigen RAG-Systems dar. Um dieses Problem anzugehen, schlagen wir DPA-RAG vor, ein universelles Framework, das darauf abzielt, diverse Wissenspräferenzen innerhalb von RAG-Systemen auszurichten. Konkret führen wir zunächst einen Vorliebenwissenskonstruktions-Pipeline ein und integrieren fünf neuartige Abfrageerweiterungsstrategien, um die Knappheit von Präferenzdaten zu lindern. Basierend auf Präferenzdaten erreicht DPA-RAG sowohl externe als auch interne Präferenzausrichtung: 1) Es integriert gemeinsam paarweise, punktweise und kontrastive Präferenzausrichtungsfähigkeiten in den Reranker und erreicht so eine externe Präferenzausrichtung zwischen den RAG-Komponenten. 2) Es führt zusätzlich eine vorab ausgerichtete Phase vor dem herkömmlichen überwachten Feintuning (SFT) ein, wodurch LLMs implizit Wissen erfassen können, das mit ihren Begründungspräferenzen übereinstimmt, und so die interne Ausrichtung der LLMs erreichen. Experimentelle Ergebnisse über vier wissensintensive QA-Datensätze zeigen, dass DPA-RAG alle Baselines übertrifft und sowohl Black-Box- als auch Open-Source-LLM-Reader nahtlos integriert. Weitere qualitative Analysen und Diskussionen bieten auch empirische Leitlinien für die Erreichung zuverlässiger RAG-Systeme. Unser Code ist öffentlich verfügbar unter https://github.com/dongguanting/DPA-RAG.

English

Retrieval-augmented generation (RAG) has demonstrated effectiveness in mitigating the hallucination problem of large language models (LLMs). However, the difficulty of aligning the retriever with the diverse LLMs' knowledge preferences inevitably poses an inevitable challenge in developing a reliable RAG system. To address this issue, we propose DPA-RAG, a universal framework designed to align diverse knowledge preferences within RAG systems. Specifically, we initially introduce a preference knowledge construction pipline and incorporate five novel query augmentation strategies to alleviate preference data scarcity. Based on preference data, DPA-RAG accomplishes both external and internal preference alignment: 1) It jointly integrate pair-wise, point-wise, and contrastive preference alignment abilities into the reranker, achieving external preference alignment among RAG components. 2) It further introduces a pre-aligned stage before vanilla Supervised Fine-tuning (SFT), enabling LLMs to implicitly capture knowledge aligned with their reasoning preferences, achieving LLMs' internal alignment. Experimental results across four knowledge-intensive QA datasets demonstrate that DPA-RAG outperforms all baselines and seamlessly integrates both black-box and open-sourced LLM readers. Further qualitative analysis and discussions also provide empirical guidance for achieving reliable RAG systems. Our code is publicly available at https://github.com/dongguanting/DPA-RAG.