EquiformerV3 : Mise à l'échelle de Transformers à Attention de Graphe SE(3)-Équivariants, Efficaces, Expressifs et Généraux
EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers
April 10, 2026
Auteurs: Yi-Lun Liao, Alexander J. Hoffman, Sabrina C. Shen, Alexandre Duval, Sam Walton Norwood, Tess Smidt
cs.AI
Résumé
Alors que les réseaux de neurones graphiques équivariants SE(3) s'affirment comme un outil central pour la modélisation atomistique 3D, l'amélioration de leur efficacité, de leur expressivité et de leur cohérence physique est devenue un enjeu majeur pour les applications à grande échelle. Dans ce travail, nous présentons EquiformerV3, la troisième génération du Transformer à attention graphique équivariant SE(3), conçu pour progresser sur ces trois dimensions : efficacité, expressivité et généralité. En nous appuyant sur EquiformerV2, nous introduisons trois avancées principales. Premièrement, nous optimisons l'implémentation logicielle, obtenant une accélération d'un facteur 1,75. Deuxièmement, nous apportons des modifications simples et efficaces à EquiformerV2, incluant une normalisation de couche fusionnée équivariante, l'amélioration des hyperparamètres du réseau feedforward, et un mécanisme d'attention avec coupure radiale lisse. Troisièmement, nous proposons des activations SwiGLU-S^2 pour incorporer des interactions à N corps, améliorant ainsi l'expressivité théorique, tout en préservant une équivariance stricte et en réduisant la complexité de l'échantillonnage des grilles S^2. Ensemble, les activations SwiGLU-S^2 et l'attention à coupure lisse permettent une modélisation précise des surfaces d'énergie potentielle (PES) variant de manière lisse, généralisant EquiformerV3 à des tâches nécessitant des simulations conservant l'énergie et des dérivées d'ordre supérieur des PES. Grâce à ces améliorations, EquiformerV3 entraîné avec la tâche auxiliaire de débruitage de structures hors équilibre (DeNS) obtient des résultats state-of-the-art sur OC20, OMat24 et Matbench Discovery.
English
As SE(3)-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the SE(3)-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving 1.75times speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-S^2 activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling S^2 grids. Together, SwiGLU-S^2 activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.