Biomed-Enriched: Um Conjunto de Dados Biomédicos Enriquecido com LLMs para Pré-treinamento e Extração de Conteúdo Raro e Oculto

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Autores: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Resumo

Apresentamos o Biomed-Enriched, um conjunto de dados de textos biomédicos construído a partir do PubMed por meio de um processo de anotação em duas etapas. Na primeira etapa, um modelo de linguagem de grande escala anota 400 mil parágrafos de artigos científicos do PubMed, atribuindo pontuações para seu tipo (revisão, estudo, caso clínico, outros), domínio (clínico, biomédico, outros) e qualidade educacional. A pontuação de qualidade educacional (classificada de 1 a 5) estima o quão útil um parágrafo é para o aprendizado em nível universitário. Essas anotações são então usadas para ajustar um modelo de linguagem menor, que propaga os rótulos em todo o corpus PMC-OA. Os metadados resultantes nos permitem extrair subconjuntos refinados, incluindo 2 milhões de parágrafos de casos clínicos com mais de 450 mil de alta qualidade provenientes de artigos com licenças de uso comercial, e construir várias variantes por meio de filtragem de qualidade e amostragem aumentada por domínio. Textos clínicos são tipicamente difíceis de acessar devido a restrições de privacidade, já que registros hospitalares não podem ser compartilhados publicamente. Portanto, nosso conjunto de dados oferece uma alternativa em grande escala e abertamente disponível de casos clínicos do PubMed, tornando-o um recurso valioso para PLN biomédico e clínico. Experimentos preliminares de pré-treinamento contínuo com o OLMo2 sugerem que esses subconjuntos curados permitem melhorias direcionadas, com a amostragem aumentada de textos clínicos impulsionando o desempenho em ~5% no MMLU ProfMed e a filtragem por qualidade educacional melhorando o MedQA e o MedMCQA em ~1%. Combinações dessas técnicas levaram a uma convergência mais rápida, alcançando o mesmo desempenho com um terço dos tokens de treinamento, indicando potencial para estratégias de pré-treinamento biomédico mais eficientes e eficazes.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.