CORAL: Оценка многораундового конверсационного поиска и дополнения генерацией

CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation

October 30, 2024

Авторы: Yiruo Cheng, Kelong Mao, Ziliang Zhao, Guanting Dong, Hongjin Qian, Yongkang Wu, Tetsuya Sakai, Ji-Rong Wen, Zhicheng Dou

cs.AI

Аннотация

Получение с использованием генерации (RAG) стало мощным парадигмой для улучшения больших языковых моделей (LLM) путем извлечения внешних знаний. Несмотря на широкое внимание, уделенное этой теме, существующие академические исследования в основном сосредоточены на одноходовом RAG, что оставляет значительный пробел в решении сложностей многоразовых разговоров, встречающихся в прикладных областях. Для заполнения этого пробела мы представляем CORAL, крупномасштабную базу данных, разработанную для оценки систем RAG в реалистичных многоразовых разговорных ситуациях. CORAL включает разнообразные беседы о поиске информации, автоматически извлеченные из Википедии, и решает ключевые проблемы, такие как охват в открытой области, интенсивность знаний, свободные формы ответов и смена темы. Он поддерживает три основные задачи разговорного RAG: поиск отрывков, генерацию ответов и маркировку цитат. Мы предлагаем унифицированную структуру для стандартизации различных методов разговорного RAG и проводим всестороннюю оценку этих методов на CORAL, демонстрируя значительные возможности для улучшения существующих подходов.

English

Retrieval-Augmented Generation (RAG) has become a powerful paradigm for enhancing large language models (LLMs) through external knowledge retrieval. Despite its widespread attention, existing academic research predominantly focuses on single-turn RAG, leaving a significant gap in addressing the complexities of multi-turn conversations found in real-world applications. To bridge this gap, we introduce CORAL, a large-scale benchmark designed to assess RAG systems in realistic multi-turn conversational settings. CORAL includes diverse information-seeking conversations automatically derived from Wikipedia and tackles key challenges such as open-domain coverage, knowledge intensity, free-form responses, and topic shifts. It supports three core tasks of conversational RAG: passage retrieval, response generation, and citation labeling. We propose a unified framework to standardize various conversational RAG methods and conduct a comprehensive evaluation of these methods on CORAL, demonstrating substantial opportunities for improving existing approaches.