Auf dem Weg zur vollautomatisierten Materialentdeckung durch großskalige Synthese Datensätze und Experten-Level-LLM-als-Bewertungssystem

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Autoren: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Zusammenfassung

Die Materialsynthese ist entscheidend für Innovationen in Bereichen wie Energiespeicherung, Katalyse, Elektronik und biomedizinischen Geräten. Dennoch basiert der Prozess stark auf empirischen, trial-and-error-Methoden, die durch Expertenintuition geleitet werden. Unsere Arbeit zielt darauf ab, die Materialwissenschaftsgemeinschaft durch die Bereitstellung einer praktischen, datengestützten Ressource zu unterstützen. Wir haben einen umfassenden Datensatz von 17.000 von Experten verifizierten Syntheserezepten aus frei zugänglicher Literatur zusammengestellt, der die Grundlage für unser neu entwickelten Benchmark, AlchemyBench, bildet. AlchemyBench bietet ein End-to-End-Framework, das die Forschung zu großen Sprachmodellen (LLMs) in der Synthesevorhersage unterstützt. Es umfasst Schlüsselaufgaben wie die Vorhersage von Rohmaterialien und Ausrüstung, die Generierung von Syntheseprozeduren und die Prognose von Charakterisierungsergebnissen. Wir schlagen ein LLM-as-a-Judge-Framework vor, das große Sprachmodelle für die automatisierte Bewertung nutzt und eine starke statistische Übereinstimmung mit Experteneinschätzungen zeigt. Insgesamt bieten unsere Beiträge eine unterstützende Grundlage für die Erforschung der Fähigkeiten von LLMs bei der Vorhersage und Steuerung der Materialsynthese und ebnen so den Weg für ein effizienteres experimentelles Design und eine beschleunigte Innovation in den Materialwissenschaften.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.