大規模合成による完全自動化材料発見に向けてデータセットと専門家レベルのLLM-as-a-Judge

要旨

材料合成は、エネルギー貯蔵、触媒、エレクトロニクス、生体医療デバイスなどの革新において極めて重要である。しかし、そのプロセスは専門家の直感に基づく経験的で試行錯誤的な方法に大きく依存している。本研究は、実用的でデータ駆動型のリソースを提供することで、材料科学コミュニティを支援することを目指している。我々は、オープンアクセスの文献から17,000件の専門家検証済み合成レシピを精選し、新たに開発したベンチマーク「AlchemyBench」の基盤とした。AlchemyBenchは、合成予測に適用される大規模言語モデルの研究を支援するエンドツーエンドのフレームワークを提供する。これには、原材料や装置の予測、合成手順の生成、特性評価結果の予測といった主要なタスクが含まれる。我々は、大規模言語モデルを活用した自動評価を行う「LLM-as-a-Judge」フレームワークを提案し、専門家の評価との強い統計的一致を示している。全体として、我々の貢献は、材料合成の予測と指導における大規模言語モデルの能力を探求するための支援基盤を提供し、材料科学における効率的な実験設計と加速された革新への道を開くものである。

English

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.

大規模合成による完全自動化材料発見に向けてデータセットと専門家レベルのLLM-as-a-Judge

Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

要旨

Summary

Support

Support