Erschließung des visuellen Archivs der Materialwissenschaft: Ein großskaliger multimodaler Datensatz aus der wissenschaftlichen Literatur

Zusammenfassung

Die materialwissenschaftliche Literatur kodiert jahrzehntelange experimentelle Erkenntnisse in Abbildungen, doch diese visuelle Aufzeichnung bleibt verschlossen und für KI im großen Maßstab unzugänglich. Der Kern des Problems liegt in der Struktur: Die meisten wissenschaftlichen Abbildungen sind zusammengesetzt, wobei eine einzelne Bildunterschrift mehrere Teilfelder gleichzeitig beschreibt, was eine direkte Bild-Text-Zuordnung unzuverlässig macht. Wir stellen MatMMExtract vor, eine durchgängige Open-Source-Pipeline, die dieses Problem löst, indem sie zusammengesetzte Abbildungen in einzelne Teilfelder zerlegt und mit einem großen Sprachmodell, das durch eine kuratierte materialwissenschaftliche Taxonomie geleitet wird, strukturierte, fundierte Annotationen erzeugt. Angewandt auf 14.810 Open-Access-Artikel erzeugt MatMMExtract MatSciFig: 391.606 Bild-Text-Paare auf Feldebene aus 180.571 Abbildungen, jeweils annotiert mit einem Untertitel, einer zweistufigen Visualisierungskategorie, die 19 Klassen und über 100 Untertypen umfasst, und einer wissenschaftlichen Zusammenfassung. Um eine genaue Felderkennung zu ermöglichen, führen wir MaterialScope ein, einen domänenspezifischen Erkennungsdatensatz mit 2.811 manuell annotierten materialwissenschaftlichen Abbildungen, bei dem ein feinabgestimmter YOLO12-m-Detektor einen mAP_50 von 0,9227 erreicht. Unter sechs verglichenen Sprachmodellen liefert Gemini 3.1 Flash Lite den besten Kosten-Qualitäts-Kompromiss für die Annotationserzeugung, bei dem 82 % der Ausgaben als gut bewertet wurden und die Halluzinationsrate bei 4,8 % liegt. Eine Zwei-Encoder-Retrieval-Baseline auf MatSciFig erreicht eine 4,4-fache Verbesserung von R@1 gegenüber Zero-Shot-CLIP, was den unmittelbaren Nutzen des Datensatzes für das Bild-Text-Lernen demonstriert. Alle Ressourcen werden der Community offen zur Verfügung gestellt.

English

The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.