Evaluación Integral y Práctica de Sistemas de Generación con Recuperación Mejorada para la Respuesta a Preguntas Médicas

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Autores: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Resumen

La generación aumentada por recuperación (RAG) ha surgido como un enfoque prometedor para mejorar el rendimiento de los grandes modelos de lenguaje (LLMs) en tareas intensivas en conocimiento, como las del ámbito médico. Sin embargo, la naturaleza sensible del ámbito médico exige un sistema completamente preciso y confiable. Si bien los benchmarks de RAG existentes se centran principalmente en el escenario estándar de recuperación-respuesta, pasan por alto muchos escenarios prácticos que evalúan aspectos cruciales de un sistema médico confiable. Este artículo aborda esta brecha al proporcionar un marco de evaluación integral para sistemas de preguntas y respuestas médicas en un entorno de RAG para estas situaciones, que incluyen suficiencia, integración y robustez. Presentamos el Benchmark de Generación Aumentada por Recuperación Médica (MedRGB) que proporciona varios elementos complementarios a cuatro conjuntos de datos de preguntas y respuestas médicas para probar la capacidad de los LLMs para manejar estos escenarios específicos. Utilizando MedRGB, realizamos evaluaciones exhaustivas tanto de LLMs comerciales de vanguardia como de modelos de código abierto en múltiples condiciones de recuperación. Nuestros resultados experimentales revelan la capacidad limitada de los modelos actuales para manejar ruido y desinformación en los documentos recuperados. Además, analizamos los procesos de razonamiento de los LLMs para proporcionar ideas valiosas y direcciones futuras para el desarrollo de sistemas RAG en este crítico ámbito médico.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.