К полностью автоматизированному открытию материалов через масштабное синтезирование набора данных и экспертного уровня LLM-судьи.

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Авторы: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Аннотация

Синтез материалов является ключевым для инноваций в областях хранения энергии, катализа, электроники и биомедицинских устройств. Тем не менее, этот процесс в значительной степени основан на эмпирических методах проб и ошибок, направляемых экспертной интуицией. Наша работа направлена на поддержку сообщества материаловедов путем предоставления практического, основанного на данных ресурса. Мы подготовили обширный набор данных из 17 тыс. экспертно подтвержденных рецептов синтеза из открытой научной литературы, который лежит в основе нашего нового бенчмарка, AlchemyBench. AlchemyBench предлагает комплексный фреймворк, поддерживающий исследования в области прогнозирования синтеза с использованием крупномасштабных языковых моделей. Он охватывает ключевые задачи, включая прогнозирование сырья и оборудования, генерацию процедуры синтеза и прогнозирование результатов характеризации. Мы предлагаем фреймворк LLM-как-судья, который использует крупномасштабные языковые модели для автоматизированной оценки, демонстрируя сильное статистическое согласие с экспертными оценками. В целом, наши результаты предлагают поддерживающую основу для исследования возможностей LLM в прогнозировании и руководстве синтезом материалов, в конечном итоге ускоряя процесс проектирования экспериментов и инноваций в области материаловедения.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.