Training eines Foundation-Modells für Materialien mit begrenztem Budget
Training a Foundation Model for Materials on a Budget
August 22, 2025
papers.authors: Teddy Koker, Tess Smidt
cs.AI
papers.abstract
Foundation-Modelle für die Materialmodellierung entwickeln sich schnell weiter, doch ihr Training bleibt kostspielig, wodurch state-of-the-art Methoden oft für viele Forschungsgruppen unerreichbar sind. Wir stellen Nequix vor, ein kompaktes E(3)-äquivariantes Potential, das ein vereinfachtes NequIP-Design mit modernen Trainingspraktiken kombiniert, einschließlich äquivarianter Root-Mean-Square-Layer-Normalisierung und dem Muon-Optimierer, um die Genauigkeit zu bewahren und gleichzeitig den Rechenaufwand erheblich zu reduzieren. In JAX implementiert, verfügt Nequix über 700.000 Parameter und wurde in 500 A100-GPU-Stunden trainiert. Bei den Benchmarks Matbench-Discovery und MDR Phonon belegt Nequix den dritten Platz insgesamt, benötigt jedoch weniger als ein Viertel der Trainingskosten der meisten anderen Methoden und bietet eine um eine Größenordnung schnellere Inferenzgeschwindigkeit als das derzeit führende Modell. Wir veröffentlichen die Modellgewichte und einen vollständig reproduzierbaren Codebase unter https://github.com/atomicarchitects/nequix.
English
Foundation models for materials modeling are advancing quickly, but their
training remains expensive, often placing state-of-the-art methods out of reach
for many research groups. We introduce Nequix, a compact E(3)-equivariant
potential that pairs a simplified NequIP design with modern training practices,
including equivariant root-mean-square layer normalization and the Muon
optimizer, to retain accuracy while substantially reducing compute
requirements. Built in JAX, Nequix has 700K parameters and was trained in 500
A100-GPU hours. On the Matbench-Discovery and MDR Phonon benchmarks, Nequix
ranks third overall while requiring less than one quarter of the training cost
of most other methods, and it delivers an order-of-magnitude faster inference
speed than the current top-ranked model. We release model weights and fully
reproducible codebase at https://github.com/atomicarchitects/nequix