Verso la scoperta completamente automatizzata di materiali attraverso dataset di sintesi su larga scala e LLM di livello esperto come giudice

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Autori: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Abstract

La sintesi dei materiali è fondamentale per innovazioni come lo stoccaggio di energia, la catalisi, l'elettronica e i dispositivi biomedici. Tuttavia, il processo si basa fortemente su metodi empirici di prova ed errore guidati dall'intuizione degli esperti. Il nostro lavoro mira a supportare la comunità della scienza dei materiali fornendo una risorsa pratica e basata sui dati. Abbiamo curato un dataset completo di 17.000 ricette di sintesi verificate da esperti, tratte dalla letteratura ad accesso aperto, che costituisce la base del nostro nuovo benchmark, AlchemyBench. AlchemyBench offre un framework end-to-end che supporta la ricerca sui modelli linguistici di grandi dimensioni applicati alla previsione della sintesi. Comprende compiti chiave, tra cui la previsione delle materie prime e delle attrezzature, la generazione delle procedure di sintesi e la previsione dei risultati di caratterizzazione. Proponiamo un framework LLM-as-a-Judge che sfrutta i modelli linguistici di grandi dimensioni per la valutazione automatizzata, dimostrando una forte concordanza statistica con le valutazioni degli esperti. Nel complesso, i nostri contributi offrono una base di supporto per esplorare le capacità degli LLM nella previsione e nella guida della sintesi dei materiali, aprendo la strada a una progettazione sperimentale più efficiente e a un'innovazione accelerata nella scienza dei materiali.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.