CORAL: Avaliação de Referência para Geração de Ampliação de Recuperação Conversacional de Múltiplas Voltas

CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation

October 30, 2024

Autores: Yiruo Cheng, Kelong Mao, Ziliang Zhao, Guanting Dong, Hongjin Qian, Yongkang Wu, Tetsuya Sakai, Ji-Rong Wen, Zhicheng Dou

cs.AI

Resumo

A Geração com Recuperação (RAG) tornou-se um paradigma poderoso para aprimorar grandes modelos de linguagem (LLMs) por meio da recuperação de conhecimento externo. Apesar da atenção generalizada, a pesquisa acadêmica existente predominantemente se concentra em RAG de turno único, deixando uma lacuna significativa na abordagem das complexidades de conversas multi-turno encontradas em aplicações do mundo real. Para preencher essa lacuna, apresentamos o CORAL, um benchmark em larga escala projetado para avaliar sistemas RAG em cenários realistas de conversação multi-turno. O CORAL inclui conversas diversas em busca de informações derivadas automaticamente da Wikipedia e aborda desafios-chave como cobertura de domínio aberto, intensidade de conhecimento, respostas em formato livre e mudanças de tópico. Ele suporta três tarefas principais de RAG conversacional: recuperação de passagens, geração de respostas e rotulagem de citações. Propomos um framework unificado para padronizar vários métodos de RAG conversacional e realizamos uma avaliação abrangente desses métodos no CORAL, demonstrando oportunidades substanciais para melhorar abordagens existentes.

English

Retrieval-Augmented Generation (RAG) has become a powerful paradigm for enhancing large language models (LLMs) through external knowledge retrieval. Despite its widespread attention, existing academic research predominantly focuses on single-turn RAG, leaving a significant gap in addressing the complexities of multi-turn conversations found in real-world applications. To bridge this gap, we introduce CORAL, a large-scale benchmark designed to assess RAG systems in realistic multi-turn conversational settings. CORAL includes diverse information-seeking conversations automatically derived from Wikipedia and tackles key challenges such as open-domain coverage, knowledge intensity, free-form responses, and topic shifts. It supports three core tasks of conversational RAG: passage retrieval, response generation, and citation labeling. We propose a unified framework to standardize various conversational RAG methods and conduct a comprehensive evaluation of these methods on CORAL, demonstrating substantial opportunities for improving existing approaches.