Biomed-Enriched : Un ensemble de données biomédicales enrichi par des modèles de langage pour le pré-entraînement et l'extraction de contenus rares et cachés

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Auteurs: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Résumé

Nous présentons Biomed-Enriched, un ensemble de données biomédicales construit à partir de PubMed via un processus d'annotation en deux étapes. Dans la première étape, un modèle de langage de grande taille annote 400 000 paragraphes issus d'articles scientifiques de PubMed, en leur attribuant des scores pour leur type (revue, étude, cas clinique, autre), leur domaine (clinique, biomédical, autre) et leur qualité éducative. Le score de qualité éducative (noté de 1 à 5) estime l'utilité d'un paragraphe pour l'apprentissage au niveau universitaire. Ces annotations sont ensuite utilisées pour affiner un petit modèle de langage, qui propage les étiquettes à travers l'intégralité du corpus PMC-OA. Les métadonnées résultantes nous permettent d'extraire des sous-ensembles raffinés, incluant 2 millions de paragraphes de cas cliniques dont plus de 450 000 de haute qualité provenant d'articles avec des licences d'utilisation commerciale, et de construire plusieurs variantes via un filtrage de qualité et un suréchantillonnage par domaine. Les textes cliniques sont généralement difficiles d'accès en raison de contraintes de confidentialité, car les dossiers hospitaliers ne peuvent pas être partagés publiquement. Ainsi, notre ensemble de données offre une collection alternative à grande échelle et librement accessible de cas cliniques issus de PubMed, en faisant une ressource précieuse pour le traitement du langage naturel (NLP) biomédical et clinique. Des expériences préliminaires de pré-entraînement continu avec OLMo2 suggèrent que ces sous-ensembles soigneusement sélectionnés permettent des améliorations ciblées, avec un suréchantillonnage clinique augmentant les performances d'environ 5 % sur MMLU ProfMed et un filtrage par qualité éducative améliorant MedQA et MedMCQA d'environ 1 %. Les combinaisons de ces techniques ont conduit à une convergence plus rapide, atteignant les mêmes performances avec un tiers des tokens d'entraînement, indiquant un potentiel pour des stratégies de pré-entraînement biomédical plus efficaces et efficientes.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.