Biomed-Enriched: Un Dataset Biomedico Arricchito con LLM per il Pretraining e l'Estrazione di Contenuti Rari e Nascosti

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Autori: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Abstract

Presentiamo Biomed-Enriched, un dataset di testi biomedici costruito da PubMed attraverso un processo di annotazione in due fasi. Nella prima fase, un modello linguistico di grandi dimensioni annota 400.000 paragrafi tratti da articoli scientifici di PubMed, assegnando punteggi per il loro tipo (revisione, studio, caso clinico, altro), dominio (clinico, biomedico, altro) e qualità educativa. Il punteggio di qualità educativa (valutato da 1 a 5) stima quanto un paragrafo sia utile per l'apprendimento a livello universitario. Queste annotazioni vengono poi utilizzate per affinare un modello linguistico di piccole dimensioni, che propaga le etichette sull'intero corpus PMC-OA. I metadati risultanti ci consentono di estrarre sottoinsiemi raffinati, inclusi 2 milioni di paragrafi di casi clinici con oltre 450.000 di alta qualità provenienti da articoli con licenze per uso commerciale, e di costruire diverse varianti attraverso filtraggio per qualità e sovracampionamento per dominio. I testi clinici sono tipicamente difficili da accedere a causa di vincoli di privacy, poiché i registri ospedalieri non possono essere condivisi pubblicamente. Pertanto, il nostro dataset fornisce una raccolta alternativa su larga scala e liberamente disponibile di casi clinici da PubMed, rendendolo una risorsa preziosa per l'NLP biomedico e clinico. Esperimenti preliminari di pre-addestramento continuo con OLMo2 suggeriscono che questi sottoinsiemi curati consentono miglioramenti mirati, con il sovracampionamento clinico che aumenta le prestazioni di circa il 5% su MMLU ProfMed e il filtraggio per qualità educativa che migliora MedQA e MedMCQA di circa l'1%. Combinazioni di queste tecniche hanno portato a una convergenza più rapida, raggiungendo le stesse prestazioni con un terzo dei token di addestramento, indicando un potenziale per strategie di pre-addestramento biomedico più efficienti ed efficaci.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.