AutoMIR: Эффективный поиск медицинской информации без меток релевантности

AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels

October 26, 2024

Авторы: Lei Li, Xiangxu Zhang, Xiao Zhou, Zheng Liu

cs.AI

Аннотация

Извлечение медицинской информации (MIR) является неотъемлемым для получения актуальных медицинских знаний из различных источников, включая электронные медицинские записи, научную литературу и медицинские базы данных. Однако достижение эффективного плотного поиска с нулевым шагом в медицинской области представляет существенные трудности из-за отсутствия данных с метками релевантности. В данной статье мы представляем новый подход, названный Самообучающие гипотетические вложения документов (SL-HyDE), чтобы решить эту проблему. SL-HyDE использует большие языковые модели (LLM) в качестве генераторов для создания гипотетических документов на основе заданного запроса. Эти сгенерированные документы содержат ключевой медицинский контекст, направляя плотный поисковик на поиск наиболее релевантных документов. Самообучающаяся структура поэтапно улучшает как генерацию псевдо-документов, так и поиск, используя неразмеченные медицинские корпуса без необходимости в данных с метками релевантности. Кроме того, мы представляем Китайский бенчмарк по извлечению медицинской информации (CMIRB), обширную систему оценки, основанную на реальных медицинских сценариях, охватывающую пять задач и десять наборов данных. Проведя оценку десяти моделей на CMIRB, мы устанавливаем строгий стандарт для оценки систем извлечения медицинской информации. Экспериментальные результаты показывают, что SL-HyDE значительно превосходит существующие методы по точности извлечения, демонстрируя при этом сильную обобщаемость и масштабируемость при различных конфигурациях LLM и поисковика. Данные и код оценки CMIRB доступны публично по ссылке: https://github.com/CMIRB-benchmark/CMIRB.

English

Medical information retrieval (MIR) is essential for retrieving relevant medical knowledge from diverse sources, including electronic health records, scientific literature, and medical databases. However, achieving effective zero-shot dense retrieval in the medical domain poses substantial challenges due to the lack of relevance-labeled data. In this paper, we introduce a novel approach called Self-Learning Hypothetical Document Embeddings (SL-HyDE) to tackle this issue. SL-HyDE leverages large language models (LLMs) as generators to generate hypothetical documents based on a given query. These generated documents encapsulate key medical context, guiding a dense retriever in identifying the most relevant documents. The self-learning framework progressively refines both pseudo-document generation and retrieval, utilizing unlabeled medical corpora without requiring any relevance-labeled data. Additionally, we present the Chinese Medical Information Retrieval Benchmark (CMIRB), a comprehensive evaluation framework grounded in real-world medical scenarios, encompassing five tasks and ten datasets. By benchmarking ten models on CMIRB, we establish a rigorous standard for evaluating medical information retrieval systems. Experimental results demonstrate that SL-HyDE significantly surpasses existing methods in retrieval accuracy while showcasing strong generalization and scalability across various LLM and retriever configurations. CMIRB data and evaluation code are publicly available at: https://github.com/CMIRB-benchmark/CMIRB.