Biomed-Enriched: Un conjunto de datos biomédicos enriquecido con LLM para el preentrenamiento y la extracción de contenido raro y oculto

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Autores: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Resumen

Presentamos Biomed-Enriched, un conjunto de datos de texto biomédico construido a partir de PubMed mediante un proceso de anotación en dos etapas. En la primera etapa, un modelo de lenguaje de gran escala anota 400,000 párrafos de artículos científicos de PubMed, asignando puntuaciones para su tipo (revisión, estudio, caso clínico, otro), dominio (clínico, biomédico, otro) y calidad educativa. La puntuación de calidad educativa (calificada de 1 a 5) estima cuán útil es un párrafo para el aprendizaje a nivel universitario. Estas anotaciones se utilizan luego para ajustar un modelo de lenguaje pequeño, que propaga las etiquetas a través del corpus completo de PMC-OA. Los metadatos resultantes nos permiten extraer subconjuntos refinados, incluyendo 2 millones de párrafos de casos clínicos con más de 450,000 de alta calidad provenientes de artículos con licencias de uso comercial, y construir varias variantes mediante filtrado de calidad y sobremuestreo de dominio. El texto clínico suele ser difícil de acceder debido a restricciones de privacidad, ya que los registros hospitalarios no pueden compartirse públicamente. Por lo tanto, nuestro conjunto de datos proporciona una alternativa de gran escala y abiertamente disponible de casos clínicos de PubMed, convirtiéndolo en un recurso valioso para el procesamiento de lenguaje natural (PLN) biomédico y clínico. Experimentos preliminares de preentrenamiento continuo con OLMo2 sugieren que estos subconjuntos curados permiten mejoras específicas, con el sobremuestreo clínico aumentando el rendimiento en ~5% en MMLU ProfMed y el filtrado de calidad educativa mejorando MedQA y MedMCQA en ~1%. Las combinaciones de estas técnicas condujeron a una convergencia más rápida, alcanzando el mismo rendimiento con un tercio de los tokens de entrenamiento, lo que indica un potencial para estrategias de preentrenamiento biomédico más eficientes y efectivas.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.