EquiformerV2: 高次元表現へのスケーリングのための改良型等変性トランスフォーマー

要旨

Equivariant Transformerの一種であるEquiformerは、3D原子系の領域にTransformerを適用する有効性を実証してきました。しかし、これらのモデルは計算複雑性のため、依然として低次の等変表現に限定されています。本論文では、これらのアーキテクチャがより高次の表現にスケールできるかどうかを調査します。Equiformerを出発点として、まずSO(3)畳み込みをeSCN畳み込みに置き換え、高次テンソルを効率的に組み込む方法を提案します。さらに、高次の表現の力をより活用するために、3つのアーキテクチャ改善――注意再正規化、分離可能なS^2活性化、分離可能なレイヤ正規化――を提案します。これらを統合したEquiformerV2は、大規模OC20データセットにおいて、力の予測で最大12%、エネルギーの予測で4%の精度向上を達成し、速度と精度のトレードオフを改善し、吸着エネルギー計算に必要なDFT計算を2倍削減することで、従来の最先端手法を上回る性能を示しました。

English

Equivariant Transformers such as Equiformer have demonstrated the efficacy of applying Transformers to the domain of 3D atomistic systems. However, they are still limited to small degrees of equivariant representations due to their computational complexity. In this paper, we investigate whether these architectures can scale well to higher degrees. Starting from Equiformer, we first replace SO(3) convolutions with eSCN convolutions to efficiently incorporate higher-degree tensors. Then, to better leverage the power of higher degrees, we propose three architectural improvements -- attention re-normalization, separable S^2 activation and separable layer normalization. Putting this all together, we propose EquiformerV2, which outperforms previous state-of-the-art methods on the large-scale OC20 dataset by up to 12% on forces, 4% on energies, offers better speed-accuracy trade-offs, and 2times reduction in DFT calculations needed for computing adsorption energies.

EquiformerV2: 高次元表現へのスケーリングのための改良型等変性トランスフォーマー

EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations

要旨

Support