Комплексная и практическая оценка систем генерации с увеличением поиска для ответов на медицинские вопросы

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

Авторы: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

Аннотация

Подход с увеличением генерации с использованием извлечения (RAG) стал многообещающим методом для улучшения производительности крупных языковых моделей (LLM) в задачах, требующих большого объема знаний, таких как задачи из медицинской области. Однако чувствительная природа медицинской области требует полностью точной и надежной системы. Существующие бенчмарки RAG в основном сосредотачиваются на стандартной ситуации извлечения-ответа, но они не учитывают множество практических сценариев, измеряющих важные аспекты надежной медицинской системы. В данной статье рассматривается этот пробел путем предоставления комплексной системы оценки для систем медицинского вопросно-ответного (QA) в RAG среде для таких ситуаций, как достаточность, интеграция и устойчивость. Мы представляем бенчмарк Медицинского извлечения-увеличения генерации (MedRGB), который предоставляет различные дополнительные элементы для четырех наборов данных медицинских вопросов-ответов для тестирования способности LLM обрабатывать эти конкретные сценарии. Используя MedRGB, мы проводим обширные оценки как коммерческих LLM последнего поколения, так и моделей с открытым исходным кодом в различных условиях извлечения. Наши экспериментальные результаты показывают ограниченную способность текущих моделей обрабатывать шум и дезинформацию в извлеченных документах. Мы также анализируем процессы рассуждения LLM, чтобы предоставить ценные идеи и направления для развития систем RAG в этой важной медицинской области.

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.