Biomed-Enriched: Ein biomedizinisches Datenset angereichert mit LLMs für das Pretraining und die Extraktion seltener und versteckter Inhalte

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Autoren: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Zusammenfassung

Wir stellen Biomed-Enriched vor, ein biomedizinisches Textdatenset, das aus PubMed über einen zweistufigen Annotationsprozess erstellt wurde. In der ersten Stufe annotiert ein großes Sprachmodell 400.000 Absätze aus wissenschaftlichen Artikeln von PubMed und weist ihnen Bewertungen für ihren Typ (Review, Studie, klinischer Fall, andere), ihre Domäne (klinisch, biomedizinisch, andere) und ihre Bildungsqualität zu. Die Bildungsqualitätsbewertung (skaliert von 1 bis 5) schätzt ein, wie nützlich ein Absatz für das Lernen auf College-Niveau ist. Diese Annotationen werden dann verwendet, um ein kleines Sprachmodell zu feinabzustimmen, das die Labels über den gesamten PMC-OA-Korpus verteilt. Die resultierenden Metadaten ermöglichen es uns, verfeinerte Teilmengen zu extrahieren, darunter 2 Millionen Absätze zu klinischen Fällen mit über 450.000 hochwertigen Absätzen aus Artikeln mit kommerziellen Nutzungslizenzen, sowie mehrere Varianten durch Qualitätsfilterung und Domänen-Upsampling zu erstellen. Klinische Texte sind aufgrund von Datenschutzbeschränkungen typischerweise schwer zugänglich, da Krankenhausakten nicht öffentlich geteilt werden können. Daher bietet unser Datenset eine alternative, groß angelegte und offen verfügbare Sammlung klinischer Fälle aus PubMed, was ihn zu einer wertvollen Ressource für biomedizinische und klinische NLP macht. Vorläufige kontinuierliche Vortrainingsexperimente mit OLMo2 deuten darauf hin, dass diese kuratierten Teilmengen gezielte Verbesserungen ermöglichen, wobei klinisches Upsampling die Leistung auf MMLU ProfMed um ~5 % steigert und die Bildungsqualitätsfilterung MedQA und MedMCQA um ~1 % verbessert. Kombinationen dieser Techniken führten zu einer schnelleren Konvergenz, die mit einem Drittel der Trainings-Token die gleiche Leistung erreichte, was auf das Potenzial für effizientere und effektivere biomedizinische Vortrainingsstrategien hinweist.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.