대규모 합성 데이터셋과 전문가 수준의 LLM-as-a-Judge를 통한 완전 자동화된 소재 발견을 향하여

초록

재료 합성은 에너지 저장, 촉매, 전자기기, 생체의학 장치 등의 혁신에 있어 핵심적인 역할을 합니다. 그러나 이 과정은 전문가의 직관에 의존한 경험적 시행착오 방법에 크게 의존하고 있습니다. 우리의 연구는 실용적이고 데이터 기반의 리소스를 제공함으로써 재료 과학 커뮤니티를 지원하는 것을 목표로 합니다. 우리는 공개된 문헌에서 전문가가 검증한 17,000개의 합성 레시피를 포괄적으로 수집하여 새로운 벤치마크인 AlchemyBench의 기반을 마련했습니다. AlchemyBench는 합성 예측에 적용된 대형 언어 모델 연구를 지원하는 종단 간 프레임워크를 제공하며, 원료 및 장비 예측, 합성 절차 생성, 특성 결과 예측 등 주요 작업을 포함합니다. 우리는 대형 언어 모델을 활용한 자동 평가를 위한 LLM-as-a-Judge 프레임워크를 제안하며, 이는 전문가 평가와 강력한 통계적 일치를 보여줍니다. 전반적으로, 우리의 기여는 재료 합성 예측 및 안내에서 대형 언어 모델의 능력을 탐구하는 데 유용한 기반을 제공하며, 궁극적으로 더 효율적인 실험 설계와 재료 과학 분야의 혁신 가속화로 이어질 것입니다.

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.

대규모 합성 데이터셋과 전문가 수준의 LLM-as-a-Judge를 통한 완전 자동화된 소재 발견을 향하여

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

초록

Summary

Support

Support