Entraîner un modèle de base pour les matériaux avec un budget limité
Training a Foundation Model for Materials on a Budget
August 22, 2025
papers.authors: Teddy Koker, Tess Smidt
cs.AI
papers.abstract
Les modèles de base pour la modélisation des matériaux progressent rapidement, mais leur entraînement reste coûteux, plaçant souvent les méthodes de pointe hors de portée pour de nombreux groupes de recherche. Nous présentons Nequix, un potentiel E(3)-équivariant compact qui associe une conception simplifiée de NequIP à des pratiques modernes d'entraînement, incluant la normalisation par couches équivariante de la moyenne quadratique et l'optimiseur Muon, pour préserver la précision tout en réduisant considérablement les besoins en calcul. Développé dans JAX, Nequix possède 700 000 paramètres et a été entraîné en 500 heures sur des GPU A100. Sur les benchmarks Matbench-Discovery et MDR Phonon, Nequix se classe troisième au classement général tout en nécessitant moins d'un quart du coût d'entraînement de la plupart des autres méthodes, et il offre une vitesse d'inférence dix fois plus rapide que le modèle actuellement en tête. Nous publions les poids du modèle et un codebase entièrement reproductible à l'adresse https://github.com/atomicarchitects/nequix.
English
Foundation models for materials modeling are advancing quickly, but their
training remains expensive, often placing state-of-the-art methods out of reach
for many research groups. We introduce Nequix, a compact E(3)-equivariant
potential that pairs a simplified NequIP design with modern training practices,
including equivariant root-mean-square layer normalization and the Muon
optimizer, to retain accuracy while substantially reducing compute
requirements. Built in JAX, Nequix has 700K parameters and was trained in 500
A100-GPU hours. On the Matbench-Discovery and MDR Phonon benchmarks, Nequix
ranks third overall while requiring less than one quarter of the training cost
of most other methods, and it delivers an order-of-magnitude faster inference
speed than the current top-ranked model. We release model weights and fully
reproducible codebase at https://github.com/atomicarchitects/nequix