Naar Volledig Geautomatiseerde Materiaalontdekking via Grootschalige Synthese Dataset en Expertniveau LLM-als-Rechter

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Auteurs: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Samenvatting

Materialensynthese is van cruciaal belang voor innovaties zoals energieopslag, katalyse, elektronica en biomedische apparaten. Toch berust het proces sterk op empirische, trial-and-error-methoden die worden geleid door expertintuïtie. Ons werk heeft als doel de materiaalwetenschappelijke gemeenschap te ondersteunen door een praktische, data-gedreven bron te bieden. We hebben een uitgebreide dataset samengesteld van 17.000 door experts geverifieerde syntheserecepten uit open-access literatuur, die de basis vormt van onze nieuw ontwikkelde benchmark, AlchemyBench. AlchemyBench biedt een end-to-end raamwerk dat onderzoek ondersteunt naar grote taalmodellen toegepast op synthesenvoorspelling. Het omvat belangrijke taken, waaronder de voorspelling van grondstoffen en apparatuur, het genereren van synthesemethoden en het voorspellen van karakterisatieresultaten. We stellen een LLM-as-a-Judge raamwerk voor dat grote taalmodellen gebruikt voor geautomatiseerde evaluatie, wat een sterke statistische overeenstemming met expertbeoordelingen aantoont. Over het algemeen bieden onze bijdragen een ondersteunende basis voor het verkennen van de mogelijkheden van LLM's bij het voorspellen en begeleiden van materialensynthese, wat uiteindelijk de weg effent voor efficiënter experimenteel ontwerp en versnelde innovatie in de materiaalwetenschap.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.