Hacia el Descubrimiento de Materiales Totalmente Automatizado mediante Síntesis a Gran Escala Conjunto de Datos y Modelo de Lenguaje de Nivel Experto como Juez

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Autores: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Resumen

La síntesis de materiales es fundamental para innovaciones como el almacenamiento de energía, la catálisis, la electrónica y los dispositivos biomédicos. Sin embargo, el proceso depende en gran medida de métodos empíricos de ensayo y error guiados por la intuición experta. Nuestro trabajo tiene como objetivo apoyar a la comunidad de la ciencia de materiales proporcionando un recurso práctico y basado en datos. Hemos recopilado un conjunto de datos exhaustivo de 17,000 recetas de síntesis verificadas por expertos, extraídas de literatura de acceso abierto, que constituye la base de nuestro nuevo punto de referencia, AlchemyBench. AlchemyBench ofrece un marco integral que respalda la investigación en modelos de lenguaje aplicados a la predicción de síntesis. Abarca tareas clave, como la predicción de materias primas y equipos, la generación de procedimientos de síntesis y la predicción de resultados de caracterización. Proponemos un marco de "LLM-como-Juez" que aprovecha los modelos de lenguaje para la evaluación automatizada, demostrando una fuerte concordancia estadística con las evaluaciones expertas. En conjunto, nuestras contribuciones ofrecen una base de apoyo para explorar las capacidades de los modelos de lenguaje en la predicción y guía de la síntesis de materiales, allanando el camino hacia un diseño experimental más eficiente y una innovación acelerada en la ciencia de materiales.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.