AutoMIR: Recuperación de Información Médica sin Etiquetas de Relevancia mediante Cero Disparos Efectiva

AutoMIR: Effective Zero-Shot Medical Information Retrieval without Relevance Labels

October 26, 2024

Autores: Lei Li, Xiangxu Zhang, Xiao Zhou, Zheng Liu

cs.AI

Resumen

La recuperación de información médica (MIR) es esencial para obtener conocimientos médicos relevantes de diversas fuentes, incluidos registros de salud electrónicos, literatura científica y bases de datos médicas. Sin embargo, lograr una recuperación densa efectiva sin entrenamiento en el dominio médico plantea desafíos sustanciales debido a la falta de datos etiquetados como relevantes. En este documento, presentamos un enfoque novedoso llamado Incrustaciones de Documentos Hipotéticos Autoaprendidas (SL-HyDE) para abordar este problema. SL-HyDE aprovecha modelos de lenguaje grandes (LLMs) como generadores para crear documentos hipotéticos basados en una consulta dada. Estos documentos generados encapsulan un contexto médico clave, guiando a un recuperador denso para identificar los documentos más relevantes. El marco de autoaprendizaje perfecciona progresivamente tanto la generación de pseudo-documentos como la recuperación, utilizando corpora médicos no etiquetados sin necesidad de datos etiquetados como relevantes. Además, presentamos el Conjunto de Datos de Evaluación de Recuperación de Información Médica en Chino (CMIRB), un marco de evaluación integral basado en escenarios médicos del mundo real, que abarca cinco tareas y diez conjuntos de datos. Al comparar diez modelos en CMIRB, establecemos un estándar riguroso para evaluar sistemas de recuperación de información médica. Los resultados experimentales demuestran que SL-HyDE supera significativamente a los métodos existentes en precisión de recuperación, mostrando una fuerte generalización y escalabilidad en diversas configuraciones de LLM y recuperadores. Los datos de CMIRB y el código de evaluación están disponibles públicamente en: https://github.com/CMIRB-benchmark/CMIRB.

English

Medical information retrieval (MIR) is essential for retrieving relevant medical knowledge from diverse sources, including electronic health records, scientific literature, and medical databases. However, achieving effective zero-shot dense retrieval in the medical domain poses substantial challenges due to the lack of relevance-labeled data. In this paper, we introduce a novel approach called Self-Learning Hypothetical Document Embeddings (SL-HyDE) to tackle this issue. SL-HyDE leverages large language models (LLMs) as generators to generate hypothetical documents based on a given query. These generated documents encapsulate key medical context, guiding a dense retriever in identifying the most relevant documents. The self-learning framework progressively refines both pseudo-document generation and retrieval, utilizing unlabeled medical corpora without requiring any relevance-labeled data. Additionally, we present the Chinese Medical Information Retrieval Benchmark (CMIRB), a comprehensive evaluation framework grounded in real-world medical scenarios, encompassing five tasks and ten datasets. By benchmarking ten models on CMIRB, we establish a rigorous standard for evaluating medical information retrieval systems. Experimental results demonstrate that SL-HyDE significantly surpasses existing methods in retrieval accuracy while showcasing strong generalization and scalability across various LLM and retriever configurations. CMIRB data and evaluation code are publicly available at: https://github.com/CMIRB-benchmark/CMIRB.