Biomed-Enriched: Биомедицинский набор данных, обогащенный с помощью языковых моделей для предварительного обучения и извлечения редкой и скрытой информации

Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content

June 25, 2025

Авторы: Rian Touchent, Nathan Godey, Eric de la Clergerie

cs.AI

Аннотация

Мы представляем Biomed-Enriched, биомедицинский текстовый набор данных, созданный из PubMed с помощью двухэтапного процесса аннотации. На первом этапе крупная языковая модель аннотирует 400 тысяч абзацев из научных статей PubMed, присваивая им оценки по типу (обзор, исследование, клинический случай, другое), области (клиническая, биомедицинская, другая) и образовательному качеству. Оценка образовательного качества (от 1 до 5) определяет, насколько полезен абзац для обучения на уровне колледжа. Эти аннотации затем используются для тонкой настройки небольшой языковой модели, которая распространяет метки на весь корпус PMC-OA. Полученные метаданные позволяют извлекать уточнённые подмножества, включая 2 миллиона абзацев клинических случаев, из которых более 450 тысяч высококачественных взяты из статей с лицензиями на коммерческое использование, а также создавать несколько вариантов с помощью фильтрации по качеству и увеличения выборки по доменам. Клинические тексты обычно труднодоступны из-за ограничений конфиденциальности, так как больничные записи не могут быть публично доступны. Таким образом, наш набор данных предоставляет альтернативную крупномасштабную, открыто доступную коллекцию клинических случаев из PubMed, что делает его ценным ресурсом для биомедицинской и клинической обработки естественного языка. Предварительные эксперименты с непрерывным предобучением на модели OLMo2 показывают, что эти тщательно отобранные подмножества позволяют достичь целевых улучшений: увеличение выборки клинических данных повышает производительность на ~5% на тесте MMLU ProfMed, а фильтрация по образовательному качеству улучшает результаты на MedQA и MedMCQA на ~1%. Комбинации этих методов приводят к более быстрой сходимости, достигая той же производительности при использовании трети тренировочных токенов, что указывает на потенциал для более эффективных и результативных стратегий биомедицинского предобучения.

English

We introduce Biomed-Enriched, a biomedical text dataset constructed from PubMed via a two-stage annotation process. In the first stage, a large language model annotates 400K paragraphs from PubMed scientific articles, assigning scores for their type (review, study, clinical case, other), domain (clinical, biomedical, other), and educational quality. The educational quality score (rated 1 to 5) estimates how useful a paragraph is for college-level learning. These annotations are then used to fine-tune a small language model, which propagates the labels across the full PMC-OA corpus. The resulting metadata allows us to extract refined subsets, including 2M clinical case paragraphs with over 450K high-quality ones from articles with commercial-use licenses, and to construct several variants via quality filtering and domain upsampling. Clinical text is typically difficult to access due to privacy constraints, as hospital records cannot be publicly shared. Hence, our dataset provides an alternative large-scale, openly available collection of clinical cases from PubMed, making it a valuable resource for biomedical and clinical NLP. Preliminary continual-pretraining experiments with OLMo2 suggest these curated subsets enable targeted improvements, with clinical upsampling boosting performance by ~5% on MMLU ProfMed and educational quality filtering improving MedQA and MedMCQA by ~1%. Combinations of these techniques led to faster convergence, reaching same performance with a third of training tokens, indicating potential for more efficient and effective biomedical pretraining strategies.