EquiformerV3: Schaalbaar, efficiënt, expressief en algemeen SE(3)-equivariant grafisch aandachtstransformatornetwerk

EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers

April 10, 2026

Auteurs: Yi-Lun Liao, Alexander J. Hoffman, Sabrina C. Shen, Alexandre Duval, Sam Walton Norwood, Tess Smidt

cs.AI

Samenvatting

Naarmate SE(3)-equivariante grafische neurale netwerken zich ontwikkelen tot een kerninstrument voor 3D-atomistische modellering, is het verbeteren van hun efficiëntie, expressiviteit en fysieke consistentie een centrale uitdaging geworden voor grootschalige toepassingen. In dit werk introduceren we EquiformerV3, de derde generatie van de SE(3)-equivariante grafische aandachtstransformer, die is ontworpen om vooruitgang te boeken op alle drie de dimensies: efficiëntie, expressiviteit en algemeenheid. Voortbouwend op EquiformerV2 presenteren we de volgende drie belangrijke verbeteringen. Ten eerste optimaliseren we de software-implementatie, wat een 1,75 keer snellere verwerking oplevert. Ten tweede introduceren we eenvoudige en effectieve aanpassingen aan EquiformerV2, waaronder equivariante genormaliseerde samengevoegde lagen, verbeterde hyperparameters voor feedforward-netwerken en aandachtsscores met een vloeiende radius-afkapping. Ten derde stellen we SwiGLU-S^2-activaties voor om veeldeeltjesinteracties te incorporeren voor een betere theoretische expressiviteit en om strikte equivariantie te behouden terwijl de complexiteit van het bemonsteren van S^2-roosters wordt verminderd. Samen stellen SwiGLU-S^2-activaties en aandacht met vloeiende afkapping ons in staat om vloeiend variërende potentiaalenergieoppervlakken (PES) nauwkeurig te modelleren, waardoor EquiformerV3 wordt gegeneraliseerd voor taken die energiebehoudende simulaties en hogere-orde afgeleiden van PES vereisen. Met deze verbeteringen behaalt EquiformerV3, getraind met de aanvullende taak van het verwijderen van ruis uit niet-evenwichtsstructuren (DeNS), state-of-the-art resultaten op OC20, OMat24 en Matbench Discovery.

English

As SE(3)-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the SE(3)-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving 1.75times speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-S^2 activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling S^2 grids. Together, SwiGLU-S^2 activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.