Rumo à Descoberta de Materiais Totalmente Automatizada por meio de Conjuntos de Dados de Síntese em Grande Escala e LLM de Nível Especialista como Juiz.

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

February 23, 2025

Autores: Heegyu Kim, Taeyang Jeon, Seungtaek Choi, Jihoon Hong, Dongwon Jeon, Sungbum Cho, Ga-Yeon Baek, Kyung-Won Kwak, Dong-Hee Lee, Sun-Jin Choi, Jisu Bae, Chihoon Lee, Yunseo Kim, Jinsung Park, Hyunsouk Cho

cs.AI

Resumo

A síntese de materiais é vital para inovações como armazenamento de energia, catálise, eletrônicos e dispositivos biomédicos. No entanto, o processo depende fortemente de métodos empíricos de tentativa e erro guiados pela intuição de especialistas. Nosso trabalho tem como objetivo apoiar a comunidade de ciência dos materiais, fornecendo um recurso prático e baseado em dados. Curamos um conjunto abrangente de dados de 17 mil receitas de síntese verificadas por especialistas na literatura de acesso aberto, que é a base de nosso novo benchmark, AlchemyBench. AlchemyBench oferece um framework de ponta a ponta que apoia a pesquisa em grandes modelos de linguagem aplicados à previsão de síntese. Ele abrange tarefas-chave, incluindo previsão de materiais brutos e equipamentos, geração de procedimentos de síntese e previsão de resultados de caracterização. Propomos um framework LLM-como-Juiz que aproveita grandes modelos de linguagem para avaliação automatizada, demonstrando forte concordância estatística com avaliações de especialistas. No geral, nossas contribuições oferecem uma base de apoio para explorar as capacidades de LLMs na previsão e orientação da síntese de materiais, abrindo caminho para um design experimental mais eficiente e inovação acelerada na ciência dos materiais.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.