MedPMC: Ein systematischer Rahmen zur Skalierung hochgetreuer medizinischer multimodaler Daten für Foundation-Modelle

Zusammenfassung

Die Medizin ist von Natur aus multimodal und erfordert von Klinikern, Informationen aus verschiedenen Datenströmen zu synthetisieren. Die Entwicklung multimodaler Foundation-Modelle wird jedoch durch den eingeschränkten Zugang zu großen, hochwertigen klinischen Daten begrenzt. Obwohl PubMed Central (PMC) eine ergänzende Quelle von fachlich verfassten Bild-Text-Daten bietet, bleiben bestehende aus PMC abgeleitete Ressourcen in Bezug auf Treue, Reproduzierbarkeit und klinische Validierung eingeschränkt. Wir stellen MedPMC vor, ein automatisiertes, kontinuierlich aktualisierbares Rahmenwerk, das frei lizenzierte Literatur in eine hochtreue Infrastruktur für medizinische multimodale Modelle umwandelt. Angewandt auf 6,1 Millionen PMC-Artikel kuratierte MedPMC 11 Millionen medizinische Bild-Text-Paare. Komponentenbewertungen zeigten eine starke Leistung bei der initialen Filterung (F1 = 93,2), der Erkennung von Mehrtafel-Abbildungen (F1 = 96,5), der Abbildungstrennung (mAP = 89,8), der Trennung und Zuordnung von Bildunterschriften (F1 = 81,4; ROUGE-L = 85,3) und der Klassifikation medizinischer Abbildungen (F1 = 96,5). Eine manuelle Überprüfung durch fünf Annotatoren, drei mit medizinischer Ausbildung, ergab, dass 95,3 % der MedPMC-Bilder medizinisch relevant waren, gegenüber 19,7 % in einem früheren aus PMC abgeleiteten Datensatz. Über 26 Benchmarks, die 11 Fachgebiete abdecken, verbesserte ein mit MedPMC trainiertes CLIP-artiges Modell die durchschnittliche Zero-Shot-AUC um 7,1 Prozentpunkte im Vergleich zur stärksten architekturangepassten biomedizinischen CLIP-Baseline, obwohl weniger als halb so viele Bild-Text-Paare verwendet wurden. Als Visioencoder in einem multimodalen großen Sprachmodell verbesserte es die medizinische visuelle Fragebeantwortung um 1,9 bzw. 16,9 Prozentpunkte bei zwei Benchmarks. Bei 10.524 dermatologischen Fotografien des Yale New Haven Health Systems verbesserte es den Recall@5 bei der Morphologie-zu-Bild-Suche um 11,7 Prozentpunkte. Diese Ergebnisse zeigen, dass eine hochtreue Literaturkuratierung medizinische multimodale Foundation-Modelle sowohl in Benchmark- als auch in klinischen Umgebungen stärkt. Wir veröffentlichen das Rahmenwerk, das Korpus, die Benchmarks und die vortrainierten Modelle öffentlich.

English

Medicine is inherently multimodal, requiring clinicians to synthesize information across diverse data streams. Yet the development of multimodal foundation models is constrained by limited access to large-scale, high-quality clinical data. Although PubMed Central (PMC) offers a complementary source of expert-authored image-text data, existing PMC-derived resources remain limited in fidelity, reproducibility, and clinical validation. We introduce MedPMC, an automated, continuously updatable framework that transforms permissively licensed literature into high-fidelity infrastructure for medical multimodal models. Applied to 6.1 million PMC articles, MedPMC curated 11 million medical image-text pairs. Component evaluations showed strong performance for initial screening (F1 = 93.2), multi-panel figure detection (F1 = 96.5), figure separation (mAP = 89.8), caption separation and alignment (F1 = 81.4; ROUGE-L = 85.3), and medical figure classification (F1 = 96.5). Manual review by five annotators, three with medical training, found 95.3% of MedPMC images medically relevant, versus 19.7% in a prior PMC-derived dataset. Across 26 benchmarks spanning 11 specialties, a MedPMC-trained CLIP-style model improved average zero-shot AUC by 7.1 percentage points over the strongest architecture-matched biomedical CLIP baseline despite using fewer than half as many image-text pairs. As the vision encoder in a multimodal large language model, it improved medical visual question-answering by 1.9 and 16.9 percentage points across two benchmarks. In 10,524 Yale New Haven Health System dermatology photographs, it improved morphology-to-image retrieval Recall@5 by 11.7 percentage points. These findings show that high-fidelity literature curation strengthens medical multimodal foundation models across benchmark and clinical settings. We publicly release the framework, corpus, benchmarks, and pretrained models.