EquiformerV3: Scalabilità Efficiente, Espressiva e Generale di Trasformatori di Attenzione su Grafi Equivarianti SE(3)

EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers

April 10, 2026

Autori: Yi-Lun Liao, Alexander J. Hoffman, Sabrina C. Shen, Alexandre Duval, Sam Walton Norwood, Tess Smidt

cs.AI

Abstract

Man mano che le reti neurali grafiche SE(3)-equivarianti si consolidano come strumento fondamentale per la modellazione atomistica 3D, il miglioramento della loro efficienza, espressività e coerenza fisica è diventato una sfida centrale per le applicazioni su larga scala. In questo lavoro, presentiamo EquiformerV3, la terza generazione del Transformer ad attenzione grafica SE(3)-equivariante, progettato per far progredire tutte e tre le dimensioni: efficienza, espressività e generalità. Basandoci su EquiformerV2, introduciamo i seguenti tre progressi chiave. In primo luogo, ottimizziamo l'implementazione software, ottenendo un aumento di velocità di 1,75 volte. In secondo luogo, introduciamo modifiche semplici ed efficaci a EquiformerV2, inclusa la normalizzazione di livello fusa equivariante, iperparametri migliorati per la rete feedforward e l'attenzione con cutoff radiale liscio. In terzo luogo, proponiamo le attivazioni SwiGLU-S^2 per incorporare interazioni a molti corpi, al fine di ottenere una migliore espressività teorica e preservare l'equivarianza stretta riducendo al contempo la complessità del campionamento delle griglie S^2. Insieme, le attivazioni SwiGLU-S^2 e l'attenzione con cutoff liscio consentono una modellazione accurata di superfici di energia potenziale (PES) che variano dolcemente, generalizzando EquiformerV3 a compiti che richiedono simulazioni che conservano l'energia e derivate di ordine superiore delle PES. Con questi miglioramenti, EquiformerV3 addestrato con il compito ausiliario di denoising di strutture non in equilibrio (DeNS) raggiunge risultati all'avanguardia su OC20, OMat24 e Matbench Discovery.

English

As SE(3)-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the SE(3)-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving 1.75times speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-S^2 activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling S^2 grids. Together, SwiGLU-S^2 activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.