予算内で材料の基盤モデルを訓練する

要旨

材料モデリングのための基盤モデルは急速に進歩していますが、そのトレーニングは依然として高コストであり、最先端の手法を多くの研究グループが利用できない状況が続いています。本論文では、Nequixを紹介します。これは、簡素化されたNequIP設計と現代的なトレーニング手法（等変RMSレイヤー正規化やMuonオプティマイザなど）を組み合わせたコンパクトなE(3)-等変ポテンシャルであり、精度を維持しながら計算リソースを大幅に削減します。JAXで構築されたNequixは70万パラメータを持ち、500 A100-GPU時間でトレーニングされました。Matbench-DiscoveryおよびMDR Phononベンチマークにおいて、Nequixは総合3位を獲得し、他のほとんどの手法の4分の1以下のトレーニングコストで済み、現在のトップモデルよりも桁違いに高速な推論速度を実現しています。モデルウェイトと完全に再現可能なコードベースをhttps://github.com/atomicarchitects/nequixで公開しています。

English

Foundation models for materials modeling are advancing quickly, but their training remains expensive, often placing state-of-the-art methods out of reach for many research groups. We introduce Nequix, a compact E(3)-equivariant potential that pairs a simplified NequIP design with modern training practices, including equivariant root-mean-square layer normalization and the Muon optimizer, to retain accuracy while substantially reducing compute requirements. Built in JAX, Nequix has 700K parameters and was trained in 500 A100-GPU hours. On the Matbench-Discovery and MDR Phonon benchmarks, Nequix ranks third overall while requiring less than one quarter of the training cost of most other methods, and it delivers an order-of-magnitude faster inference speed than the current top-ranked model. We release model weights and fully reproducible codebase at https://github.com/atomicarchitects/nequix

予算内で材料の基盤モデルを訓練する

Training a Foundation Model for Materials on a Budget

要旨

Support