医療に関する質問応答のための検索拡張生成システムの包括的かつ実践的な評価

Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering

November 14, 2024

著者: Nghia Trung Ngo, Chien Van Nguyen, Franck Dernoncourt, Thien Huu Nguyen

cs.AI

要旨

リトリーバル拡張生成（RAG）は、大規模言語モデル（LLMs）の性能を向上させる有望なアプローチとして台頭しており、医療分野などの知識集約的なタスクにおいて特に有用です。ただし、医療分野の機微な性質から、完全に正確で信頼性の高いシステムが必要とされます。既存のRAGベンチマークは、主に標準的な情報検索-回答設定に焦点を当てていますが、信頼性の高い医療システムの重要な側面を測定する多くの実践的シナリオを見落としています。本論文では、これらの状況においてRAG設定で医療問題応答（QA）システムの包括的な評価フレームワークを提供することで、このギャップに対処します。これには、十分性、統合性、および頑健性が含まれます。私たちは、医療リトリーバル拡張生成ベンチマーク（MedRGB）を導入し、4つの医療QAデータセットにさまざまな補足要素を提供して、LLMsがこれらの特定のシナリオを処理する能力をテストします。MedRGBを活用して、商用LLMsとオープンソースモデルの両方について、複数のリトリーバル条件で包括的な評価を実施します。実験結果から、現行モデルが回収された文書のノイズや誤情報を処理する能力に限界があることが明らかになりました。さらに、LLMsの推論プロセスを分析し、この重要な医療分野でのRAGシステムの開発に向けた貴重な示唆と将来の方向性を提供します。

English

Retrieval-augmented generation (RAG) has emerged as a promising approach to enhance the performance of large language models (LLMs) in knowledge-intensive tasks such as those from medical domain. However, the sensitive nature of the medical domain necessitates a completely accurate and trustworthy system. While existing RAG benchmarks primarily focus on the standard retrieve-answer setting, they overlook many practical scenarios that measure crucial aspects of a reliable medical system. This paper addresses this gap by providing a comprehensive evaluation framework for medical question-answering (QA) systems in a RAG setting for these situations, including sufficiency, integration, and robustness. We introduce Medical Retrieval-Augmented Generation Benchmark (MedRGB) that provides various supplementary elements to four medical QA datasets for testing LLMs' ability to handle these specific scenarios. Utilizing MedRGB, we conduct extensive evaluations of both state-of-the-art commercial LLMs and open-source models across multiple retrieval conditions. Our experimental results reveals current models' limited ability to handle noise and misinformation in the retrieved documents. We further analyze the LLMs' reasoning processes to provides valuable insights and future directions for developing RAG systems in this critical medical domain.