EquiformerV2: 고차원 표현 확장을 위한 개선된 등변 트랜스포머

초록

Equivariant Transformer(등변형 트랜스포머) 중 하나인 Equiformer는 3D 원자 시스템 분야에 트랜스포머를 적용하는 데 있어 그 효과를 입증했습니다. 그러나 이러한 모델들은 계산 복잡성으로 인해 여전히 작은 차수의 등변형 표현에 제한되어 있습니다. 본 논문에서는 이러한 아키텍처가 더 높은 차수로 확장될 수 있는지 탐구합니다. Equiformer를 출발점으로, 먼저 SO(3) 컨볼루션을 eSCN 컨볼루션으로 대체하여 더 높은 차수의 텐서를 효율적으로 통합합니다. 그런 다음, 더 높은 차수의 잠재력을 더 잘 활용하기 위해 세 가지 아키텍처 개선 사항을 제안합니다: 주의력 재정규화(attention re-normalization), 분리 가능한 S^2 활성화(separable S^2 activation), 그리고 분리 가능한 레이어 정규화(separable layer normalization). 이를 모두 종합하여 EquiformerV2를 제안하며, 이는 대규모 OC20 데이터셋에서 이전의 최첨단 방법들을 최대 12% 더 나은 힘 예측, 4% 더 나은 에너지 예측으로 능가하고, 더 나은 속도-정확도 균형을 제공하며, 흡착 에너지 계산에 필요한 DFT 계산량을 2배 줄입니다.

English

Equivariant Transformers such as Equiformer have demonstrated the efficacy of applying Transformers to the domain of 3D atomistic systems. However, they are still limited to small degrees of equivariant representations due to their computational complexity. In this paper, we investigate whether these architectures can scale well to higher degrees. Starting from Equiformer, we first replace SO(3) convolutions with eSCN convolutions to efficiently incorporate higher-degree tensors. Then, to better leverage the power of higher degrees, we propose three architectural improvements -- attention re-normalization, separable S^2 activation and separable layer normalization. Putting this all together, we propose EquiformerV2, which outperforms previous state-of-the-art methods on the large-scale OC20 dataset by up to 12% on forces, 4% on energies, offers better speed-accuracy trade-offs, and 2times reduction in DFT calculations needed for computing adsorption energies.

EquiformerV2: 고차원 표현 확장을 위한 개선된 등변 트랜스포머

EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations

초록

Support