EquiformerV3: 효율적이고 표현력이 뛰어나며 일반화된 SE(3)-등변 그래프 어텐션 트랜스포머의 확장

초록

SE(3)-등변 그래프 신경망이 3D 원자 수준 모델링의 핵심 도구로 자리 잡으면서, 대규모 응용을 위해 그 효율성, 표현력 및 물리적 일관성을 향상시키는 것이 핵심 과제가 되었습니다. 본 연구에서는 효율성, 표현력, 일반성이라는 세 가지 차원을 모두 발전시키도록 설계된 SE(3)-등변 그래프 어텐션 트랜스포머의 3세대인 EquiformerV3를 소개합니다. EquiformerV2를 기반으로 다음과 같은 세 가지 주요 발전을 이루었습니다. 첫째, 소프트웨어 구현을 최적화하여 1.75배의 속도 향상을 달성했습니다. 둘째, 등변 통합 층 정규화, 개선된 피드포워드 네트워크 하이퍼파라미터, 부드러운 반경 차단을 적용한 어텐션을 포함하여 EquiformerV2에 간단하면서도 효과적인 수정을 가했습니다. 셋째, SwiGLU-S^2 활성화 함수를 제안하여 다체 상호작용을 포함함으로써 이론적 표현력을 높이고 S^2 그리드 샘플링의 복잡도를 줄이면서도 엄격한 등변성을 유지합니다. SwiGLU-S^2 활성화 함수와 부드러운 차단 어텐션은 함께 부드럽게 변화하는 포텐셜 에너지 곡면(PES)의 정확한 모델링을 가능하게 하여, EquiformerV3가 에너지 보존 시뮬레이션과 PES의 고차 미분을 필요로 하는 작업으로 일반화되도록 합니다. 이러한 개선사항들과 함께 비평형 구조 잡음 제거(DeNS)라는 보조 작업으로 학습된 EquiformerV3는 OC20, OMat24 및 Matbench Discovery에서 최첨단 결과를 달성했습니다.

English

As SE(3)-equivariant graph neural networks mature as a core tool for 3D atomistic modeling, improving their efficiency, expressivity, and physical consistency has become a central challenge for large-scale applications. In this work, we introduce EquiformerV3, the third generation of the SE(3)-equivariant graph attention Transformer, designed to advance all three dimensions: efficiency, expressivity, and generality. Building on EquiformerV2, we have the following three key advances. First, we optimize the software implementation, achieving 1.75times speedup. Second, we introduce simple and effective modifications to EquiformerV2, including equivariant merged layer normalization, improved feedforward network hyper-parameters, and attention with smooth radius cutoff. Third, we propose SwiGLU-S^2 activations to incorporate many-body interactions for better theoretical expressivity and to preserve strict equivariance while reducing the complexity of sampling S^2 grids. Together, SwiGLU-S^2 activations and smooth-cutoff attention enable accurate modeling of smoothly varying potential energy surfaces (PES), generalizing EquiformerV3 to tasks requiring energy-conserving simulations and higher-order derivatives of PES. With these improvements, EquiformerV3 trained with the auxiliary task of denoising non-equilibrium structures (DeNS) achieves state-of-the-art results on OC20, OMat24, and Matbench Discovery.

EquiformerV3: 효율적이고 표현력이 뛰어나며 일반화된 SE(3)-등변 그래프 어텐션 트랜스포머의 확장

EquiformerV3: Scaling Efficient, Expressive, and General SE(3)-Equivariant Graph Attention Transformers

초록

Support