Desbloqueando el registro visual de la ciencia de materiales: Un conjunto de datos multimodal a gran escala de la literatura científica

Resumen

La literatura en ciencia de materiales codifica décadas de conocimiento experimental en figuras, pero este registro visual permanece bloqueado e inaccesible para la IA a gran escala. La dificultad central es estructural: la mayoría de las figuras científicas son compuestas, con un único epígrafe que describe simultáneamente múltiples subpaneles, lo que hace que el emparejamiento directo imagen-texto no sea fiable. Presentamos MatMMExtract, un pipeline integral de código abierto que resuelve esto descomponiendo figuras compuestas en subpaneles individuales y generando anotaciones estructuradas y fundamentadas mediante un modelo de lenguaje grande guiado por una taxonomía curada de ciencia de materiales. Aplicado a 14 810 artículos de acceso abierto, MatMMExtract produce MatSciFig: 391 606 pares imagen-texto a nivel de panel provenientes de 180 571 figuras, cada uno anotado con un subepígrafe, una categoría de visualización de dos niveles que abarca 19 clases y más de 100 subtipos, y un resumen científico. Para permitir una localización precisa de paneles, presentamos MaterialScope, un conjunto de datos de detección específico del dominio con 2 811 figuras de ciencia de materiales anotadas manualmente, en el cual un detector YOLO12-m ajustado alcanza un mAP_50 de 0.9227. Entre seis modelos de lenguaje evaluados, Gemini 3.1 Flash Lite ofrece la mejor relación coste-calidad para la generación de anotaciones, con un 82% de salidas calificadas como buenas y una tasa de alucinación del 4.8%. Una línea base de recuperación con codificador dual en MatSciFig logra una mejora de 4.4 veces en R@1 frente a CLIP en modo cero disparo, demostrando la utilidad inmediata del conjunto de datos para el aprendizaje visión-lenguaje. Todos los recursos se publican abiertamente para la comunidad.

English

The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.