Vers une découverte automatisée des matériaux via des ensembles de données de synthèse à grande échelle et des LLM de niveau expert comme évaluateurs

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Auteurs: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Résumé

La synthèse de matériaux est essentielle pour les innovations dans des domaines tels que le stockage d'énergie, la catalyse, l'électronique et les dispositifs biomédicaux. Cependant, ce processus repose largement sur des méthodes empiriques d'essai et d'erreur guidées par l'intuition experte. Notre travail vise à soutenir la communauté des sciences des matériaux en fournissant une ressource pratique et basée sur les données. Nous avons constitué un ensemble de données complet de 17 000 recettes de synthèse vérifiées par des experts à partir de la littérature en libre accès, qui sert de base à notre nouveau benchmark, AlchemyBench. AlchemyBench propose un cadre de bout en bout qui soutient la recherche sur les modèles de langage appliqués à la prédiction de synthèse. Il englobe des tâches clés, notamment la prédiction des matières premières et des équipements, la génération de procédures de synthèse et la prévision des résultats de caractérisation. Nous proposons un cadre LLM-as-a-Judge qui exploite les modèles de langage pour l'évaluation automatisée, démontrant un fort accord statistique avec les évaluations expertes. Globalement, nos contributions offrent une base solide pour explorer les capacités des modèles de langage dans la prédiction et le guidage de la synthèse de matériaux, ouvrant ainsi la voie à une conception expérimentale plus efficace et à une innovation accélérée dans les sciences des matériaux.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.