Avaliação Abrangente e Prática de Sistemas de Geração com Recuperação Aprimorada para Responder Questões Médicas

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Autores: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Resumo

A geração aumentada por recuperação (RAG) surgiu como uma abordagem promissora para melhorar o desempenho de grandes modelos de linguagem (LLMs) em tarefas intensivas em conhecimento, como as do domínio médico. No entanto, a natureza sensível do domínio médico exige um sistema completamente preciso e confiável. Enquanto os benchmarks de RAG existentes se concentram principalmente na configuração padrão de recuperação-resposta, eles ignoram muitos cenários práticos que medem aspectos cruciais de um sistema médico confiável. Este artigo aborda essa lacuna fornecendo um framework abrangente de avaliação para sistemas de perguntas e respostas médicas em um cenário de RAG para essas situações, incluindo suficiência, integração e robustez. Apresentamos o Benchmark de Geração Aumentada por Recuperação Médica (MedRGB) que fornece vários elementos complementares para quatro conjuntos de dados de perguntas e respostas médicas para testar a capacidade dos LLMs de lidar com esses cenários específicos. Utilizando o MedRGB, realizamos avaliações extensivas tanto de LLMs comerciais de ponta quanto de modelos de código aberto em várias condições de recuperação. Nossos resultados experimentais revelam a capacidade limitada dos modelos atuais de lidar com ruído e desinformação nos documentos recuperados. Analisamos ainda os processos de raciocínio dos LLMs para fornecer insights valiosos e direções futuras para o desenvolvimento de sistemas RAG neste crítico domínio médico.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.