Понимание потребностей LLM: двойная настройка предпочтений для улучшения генерации с помощью поиска.

Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation

June 26, 2024

Авторы: Guanting Dong, Yutao Zhu, Chenghao Zhang, Zechen Wang, Zhicheng Dou, Ji-Rong Wen

cs.AI

Аннотация

Подход с извлечением информации для генерации (RAG) продемонстрировал эффективность в решении проблемы галлюцинаций у больших языковых моделей (LLM). Однако сложность выравнивания извлекателя с разнообразными предпочтениями знаний LLM неизбежно представляет собой вызов при разработке надежной системы RAG. Для решения этой проблемы мы предлагаем DPA-RAG, универсальную структуру, разработанную для выравнивания разнообразных предпочтений знаний в системах RAG. В частности, мы вначале вводим конструкцию предпочтительных знаний и интегрируем пять новых стратегий аугментации запросов для смягчения недостатка данных о предпочтениях. Основываясь на данных о предпочтениях, DPA-RAG достигает как внешнего, так и внутреннего выравнивания предпочтений: 1) Он совместно интегрирует способности к попарному, поэлементному и контрастному выравниванию предпочтений в переранкере, достигая внешнего выравнивания предпочтений между компонентами RAG. 2) Он дополнительно вводит предварительный этап выравнивания перед обычной супервизионной донастройкой (SFT), позволяя LLM неявно улавливать знания, соответствующие их предпочтениям в рассуждениях, достигая внутреннего выравнивания LLM. Экспериментальные результаты на четырех наборах данных с интенсивным использованием знаний в вопросно-ответных системах показывают, что DPA-RAG превосходит все базовые варианты и плавно интегрирует как черный ящик, так и открытые читатели LLM. Дополнительный качественный анализ и обсуждения также предоставляют эмпирическое руководство для создания надежных систем RAG. Наш код общедоступен по адресу https://github.com/dongguanting/DPA-RAG.

English

Retrieval-augmented generation (RAG) has demonstrated effectiveness in mitigating the hallucination problem of large language models (LLMs). However, the difficulty of aligning the retriever with the diverse LLMs' knowledge preferences inevitably poses an inevitable challenge in developing a reliable RAG system. To address this issue, we propose DPA-RAG, a universal framework designed to align diverse knowledge preferences within RAG systems. Specifically, we initially introduce a preference knowledge construction pipline and incorporate five novel query augmentation strategies to alleviate preference data scarcity. Based on preference data, DPA-RAG accomplishes both external and internal preference alignment: 1) It jointly integrate pair-wise, point-wise, and contrastive preference alignment abilities into the reranker, achieving external preference alignment among RAG components. 2) It further introduces a pre-aligned stage before vanilla Supervised Fine-tuning (SFT), enabling LLMs to implicitly capture knowledge aligned with their reasoning preferences, achieving LLMs' internal alignment. Experimental results across four knowledge-intensive QA datasets demonstrate that DPA-RAG outperforms all baselines and seamlessly integrates both black-box and open-sourced LLM readers. Further qualitative analysis and discussions also provide empirical guidance for achieving reliable RAG systems. Our code is publicly available at https://github.com/dongguanting/DPA-RAG.