Biomed-Enriched: Een biomedisch dataset verrijkt met LLM's voor pretraining en het extraheren van zeldzame en verborgen inhoud

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Auteurs: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Samenvatting

We introduceren Biomed-Enriched, een biomedisch tekstdataset die is samengesteld uit PubMed via een tweestaps annotatieproces. In de eerste fase annoteert een groot taalmodel 400K alinea's uit wetenschappelijke artikelen van PubMed, waarbij scores worden toegekend voor hun type (review, studie, klinisch geval, overig), domein (klinisch, biomedisch, overig) en educatieve kwaliteit. De educatieve kwaliteitsscore (beoordeeld van 1 tot 5) schat in hoe nuttig een alinea is voor leren op universitair niveau. Deze annotaties worden vervolgens gebruikt om een klein taalmodel te fine-tunen, dat de labels verspreidt over het volledige PMC-OA corpus. De resulterende metadata stelt ons in staat om verfijnde subsets te extraheren, waaronder 2M alinea's over klinische gevallen met meer dan 450K hoogwaardige exemplaren uit artikelen met commerciële gebruikslicenties, en om verschillende varianten te construeren via kwaliteitsfiltering en domein-upsampling. Klinische tekst is doorgaans moeilijk toegankelijk vanwege privacybeperkingen, aangezien ziekenhuisgegevens niet openbaar gedeeld kunnen worden. Daarom biedt onze dataset een alternatieve, grootschalige, openbaar beschikbare verzameling van klinische gevallen uit PubMed, wat het een waardevolle bron maakt voor biomedische en klinische NLP. Voorlopige experimenten met voortgezette pretraining met OLMo2 suggereren dat deze gecureerde subsets gerichte verbeteringen mogelijk maken, waarbij klinische upsampling de prestaties met ~5% verbetert op MMLU ProfMed en educatieve kwaliteitsfiltering MedQA en MedMCQA met ~1% verbetert. Combinaties van deze technieken leidden tot snellere convergentie, waarbij dezelfde prestaties werden bereikt met een derde van de trainings-tokens, wat wijst op potentie voor efficiëntere en effectievere biomedische pretrainingsstrategieën.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.