Een Foundation Model voor Materialen Trainen met een Beperkt Budget
Training a Foundation Model for Materials on a Budget
August 22, 2025
Auteurs: Teddy Koker, Tess Smidt
cs.AI
Samenvatting
Fundamentele modellen voor materiaalmodellering ontwikkelen zich snel, maar hun training blijft kostbaar, waardoor state-of-the-art methoden vaak buiten bereik zijn voor veel onderzoeksgroepen. Wij introduceren Nequix, een compact E(3)-equivariant potentieel dat een vereenvoudigd NequIP-ontwerp combineert met moderne trainingspraktijken, waaronder equivariant root-mean-square layer normalisatie en de Muon-optimalisator, om de nauwkeurigheid te behouden terwijl de rekenvereisten aanzienlijk worden verminderd. Gebouwd in JAX, heeft Nequix 700K parameters en werd getraind in 500 A100-GPU-uren. Op de Matbench-Discovery en MDR Phonon benchmarks eindigt Nequix op de derde plaats terwijl het minder dan een kwart van de trainingskosten van de meeste andere methoden vereist, en het biedt een orde van grootte snellere inferentiesnelheid dan het huidige topmodel. Wij publiceren de modelgewichten en een volledig reproduceerbare codebase op https://github.com/atomicarchitects/nequix.
English
Foundation models for materials modeling are advancing quickly, but their
training remains expensive, often placing state-of-the-art methods out of reach
for many research groups. We introduce Nequix, a compact E(3)-equivariant
potential that pairs a simplified NequIP design with modern training practices,
including equivariant root-mean-square layer normalization and the Muon
optimizer, to retain accuracy while substantially reducing compute
requirements. Built in JAX, Nequix has 700K parameters and was trained in 500
A100-GPU hours. On the Matbench-Discovery and MDR Phonon benchmarks, Nequix
ranks third overall while requiring less than one quarter of the training cost
of most other methods, and it delivers an order-of-magnitude faster inference
speed than the current top-ranked model. We release model weights and fully
reproducible codebase at https://github.com/atomicarchitects/nequix