Раскрывая визуальный архив материаловедения: крупномасштабный мультимодальный набор данных из научной литературы

Аннотация

Литература по материаловедению содержит десятилетия экспериментальных знаний, закодированных в рисунках, однако этот визуальный архив остается недоступным для ИИ в масштабе. Основная сложность структурная: большинство научных рисунков являются составными, когда одна подпись одновременно описывает несколько подпанелей, что делает прямое сопоставление изображения и текста ненадежным. Мы представляем MatMMExtract — сквозной конвейер с открытым исходным кодом, который решает эту проблему путем декомпозиции составных рисунков на отдельные подпанели и генерации структурированных обоснованных аннотаций с использованием большой языковой модели, направляемой курируемой таксономией материаловедения. Примененный к 14 810 статьям открытого доступа, MatMMExtract создает MatSciFig: 391 606 пар «изображение–текст» на уровне подпанелей из 180 571 рисунка, каждая из которых снабжена подзаголовком, двухуровневой категорией визуализации, охватывающей 19 классов и более 100 подтипов, и научным резюме. Для точной локализации подпанелей мы вводим MaterialScope — набор данных для обнаружения в предметной области, состоящий из 2 811 вручную аннотированных рисунков из материаловедения, на котором тонко настроенный детектор YOLO12-m достигает mAP_50 0,9227. Среди шести протестированных языковых моделей Gemini 3.1 Flash Lite обеспечивает наилучшее соотношение стоимости и качества для генерации аннотаций: 82% выходных данных оценены как хорошие, а уровень галлюцинаций составляет 4,8%. Базовый подход двухкодерного поиска на MatSciFig демонстрирует улучшение R@1 в 4,4 раза по сравнению с Zero-Shot CLIP, что доказывает непосредственную полезность набора данных для обучения визуально-языковым моделям. Все ресурсы открыто публикуются для сообщества.

English

The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.