Addestrare un Modello di Base per i Materiali con un Budget Limitato
Training a Foundation Model for Materials on a Budget
August 22, 2025
Autori: Teddy Koker, Tess Smidt
cs.AI
Abstract
I modelli di base per la modellazione dei materiali stanno avanzando rapidamente, ma il loro addestramento rimane costoso, rendendo spesso i metodi all'avanguardia inaccessibili per molti gruppi di ricerca. Presentiamo Nequix, un potenziale E(3)-equivariante compatto che combina un design semplificato di NequIP con pratiche di addestramento moderne, tra cui la normalizzazione a livello di root-mean-square equivariante e l'ottimizzatore Muon, per mantenere l'accuratezza riducendo sostanzialmente i requisiti computazionali. Costruito in JAX, Nequix ha 700.000 parametri ed è stato addestrato in 500 ore di GPU A100. Nei benchmark Matbench-Discovery e MDR Phonon, Nequix si classifica terzo in generale, richiedendo meno di un quarto del costo di addestramento rispetto alla maggior parte degli altri metodi, e offre una velocità di inferenza di un ordine di grandezza superiore rispetto al modello attualmente al primo posto. Rilasciamo i pesi del modello e il codice completamente riproducibile su https://github.com/atomicarchitects/nequix.
English
Foundation models for materials modeling are advancing quickly, but their
training remains expensive, often placing state-of-the-art methods out of reach
for many research groups. We introduce Nequix, a compact E(3)-equivariant
potential that pairs a simplified NequIP design with modern training practices,
including equivariant root-mean-square layer normalization and the Muon
optimizer, to retain accuracy while substantially reducing compute
requirements. Built in JAX, Nequix has 700K parameters and was trained in 500
A100-GPU hours. On the Matbench-Discovery and MDR Phonon benchmarks, Nequix
ranks third overall while requiring less than one quarter of the training cost
of most other methods, and it delivers an order-of-magnitude faster inference
speed than the current top-ranked model. We release model weights and fully
reproducible codebase at https://github.com/atomicarchitects/nequix