EquiformerV3: 効率的で表現力豊か、かつ汎用的なSE(3)-同変グラフ注意トランスフォーマーのスケーリング

EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers

April 10, 2026

著者: Yi-Lun Liao, Alexander J. Hoffman, Sabrina C. Shen, Alexandre Duval, Sam Walton Norwood, Tess Smidt

cs.AI

要旨

SE(3)-等変なグラフニューラルネットワークが3D原子モデリングの核心的ツールとして成熟するにつれ、その効率性、表現力、物理的一貫性の向上が大規模応用における中心的な課題となっている。本論文では、これら三つの側面（効率性、表現力、一般性）すべてを前進させるために設計された、SE(3)-等変なグラフ注意機構トランスフォーマーの第三世代であるEquiformerV3を提案する。EquiformerV2を基盤として、我々は以下の三つの重要な進展を実現した。第一に、ソフトウェア実装を最適化し、1.75倍の高速化を達成した。第二に、EquiformerV2に対し、等変マージ層正規化、改良されたフィードフォワードネットワークのハイパーパラメータ、滑らかな半径カットオフを備えた注意機構といった、簡潔かつ効果的な改良を加えた。第三に、SwiGLU-S^2活性化関数を提案し、多体相互作用を組み込むことで理論的な表現力を高め、S^2グリッドのサンプリングの複雑さを低減しつつ厳密な等変性を保持する。SwiGLU-S^2活性化関数と滑らかなカットオフ注意機構を組み合わせることで、滑らかに変化するポテンシャルエネルギー曲面（PES）の高精度なモデリングを可能にし、エネルギー保存則を要するシミュレーションやPESの高次微分を必要とするタスクへのEquiformerV3の一般化を実現した。これらの改良により、非平衡構造のノイズ除去（DeNS）という補助タスクで学習したEquiformerV3は、OC20、OMat24、Matbench Discoveryにおいて state-of-the-art の結果を達成した。

English

As SE(3)-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the SE(3)-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving 1.75times speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-S^2 activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling S^2 grids. Together, SwiGLU-S^2 activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.