재료과학의 시각적 기록을 해제하다: 과학 문헌으로부터 추출한 대규모 멀티모달 데이터셋

초록

재료 과학 문헌은 수십 년간의 실험적 지식을 도면으로 인코딩하고 있지만, 이 시각적 기록은 여전히 잠겨 있어 AI가 대규모로 접근하기 어렵습니다. 핵심적인 어려움은 구조적입니다. 대부분의 과학 도면은 복합적이며, 하나의 캡션이 여러 서브패널을 동시에 설명하기 때문에 직접적인 이미지-텍스트 쌍 설정이 신뢰할 수 없습니다. 본 연구에서는 MatMMExtract을 제시합니다. 이는 종단 간 오픈소스 파이프라인으로, 복합 도면을 개별 서브패널로 분해하고, 큐레이팅된 재료 과학 분류체계에 따라 안내되는 대규모 언어 모델을 사용하여 구조화되고 근거 기반의 주석을 생성함으로써 이 문제를 해결합니다. 14,810개의 오픈 액세스 논문에 적용된 MatMMExtract은 MatSciFig를 생성합니다. 180,571개의 도면에서 추출된 391,606개의 패널 수준 이미지-텍스트 쌍으로, 각각 하위 캡션, 19개 클래스와 100개 이상의 하위 유형에 걸친 2단계 시각화 범주, 그리고 과학적 요약이 주석으로 달려 있습니다. 정확한 패널 위치 파악을 위해 MaterialScope를 도입합니다. 이는 2,811개의 수동 주석이 달린 재료 과학 도면으로 구성된 도메인 특화 탐지 데이터셋이며, 미세 조정된 YOLO12-m 탐지기가 mAP_50 0.9227을 달성했습니다. 벤치마킹된 6개의 언어 모델 중에서 Gemini 3.1 Flash Lite가 주석 생성을 위한 최고의 비용-품질 트레이드오프를 제공하며, 출력의 82%가 '좋음'으로 평가되고 환각률은 4.8%입니다. MatSciFig에 대한 이중 인코더 검색 기준선은 제로샷 CLIP 대비 R@1에서 4.4배 향상을 달성하여, 이 데이터셋이 시각-언어 학습에 즉각적으로 유용함을 입증합니다. 모든 리소스는 커뮤니티에 공개됩니다.

English

The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.