Exploiter les documents visuels de la science des matériaux : un ensemble de données multimodal à grande échelle issu de la littérature scientifique

Résumé

La littérature en science des matériaux renferme des décennies de connaissances expérimentales sous forme de figures, mais cet enregistrement visuel reste verrouillé et inaccessible à l’IA à grande échelle. La difficulté centrale est structurelle : la plupart des figures scientifiques sont composites, une seule légende décrivant simultanément plusieurs sous-panels, ce qui rend l’appariement direct image-texte peu fiable. Nous présentons MatMMExtract, un pipeline open-source de bout en bout qui résout ce problème en décomposant les figures composites en sous-panels individuels et en générant des annotations structurées et fondées à l’aide d’un grand modèle de langage guidé par une taxonomie de science des matériaux soigneusement constituée. Appliqué à 14 810 articles en libre accès, MatMMExtract produit MatSciFig : 391 606 paires image-texte au niveau des panneaux issues de 180 571 figures, chacune annotée avec une sous-légende, une catégorie de visualisation à deux niveaux comprenant 19 classes et plus de 100 sous-types, ainsi qu’un résumé scientifique. Pour permettre une localisation précise des panneaux, nous introduisons MaterialScope, un ensemble de données de détection spécifique au domaine comprenant 2 811 figures de science des matériaux annotées manuellement, sur lequel un détecteur YOLO12-m finement ajusté atteint un mAP_50 de 0,9227. Parmi six modèles de langage évalués, Gemini 3.1 Flash Lite offre le meilleur compromis coût-qualité pour la génération d’annotations, avec 82 % des sorties jugées bonnes et un taux d’hallucination de 4,8 %. Une baseline de recherche à double encodeur sur MatSciFig obtient une amélioration d’un facteur 4,4 du R@1 par rapport au CLIP zero-shot, démontrant l’utilité immédiate de l’ensemble de données pour l’apprentissage vision-langage. Toutes les ressources sont mises à disposition librement de la communauté.

English

The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.