구형 CNN의 스케일링

초록

구면 CNN은 구면 컨볼루션을 주요 선형 연산으로 사용하여 평면상의 CNN을 구면 상의 함수로 일반화합니다. 구면 컨볼루션을 계산하는 가장 정확하고 효율적인 방법은 스펙트럼 영역(컨볼루션 정리를 통해)에서 수행하는 것이지만, 이는 일반적인 평면 컨볼루션보다 여전히 비용이 더 많이 듭니다. 이러한 이유로, 구면 CNN의 응용은 지금까지 낮은 모델 용량으로 접근할 수 있는 작은 문제들로 제한되어 왔습니다. 본 연구에서는 구면 CNN이 훨씬 더 큰 문제들에 적용될 수 있도록 확장하는 방법을 보여줍니다. 이를 위해, 우리는 일반적인 모델 구성 요소의 새로운 변형, 하드웨어 가속기 특성을 활용한 핵심 연산의 구현, 그리고 우리 모델의 특성을 활용한 응용 특화 입력 표현 등 중요한 개선 사항들을 도입했습니다. 실험 결과, 우리의 더 큰 구면 CNN은 이전에 등변 그래프 신경망이 주도했던 QM9 분자 벤치마크의 여러 목표에서 최첨단 성능을 달성했으며, 여러 기상 예측 작업에서도 경쟁력 있는 성능을 보였습니다. 우리의 코드는 https://github.com/google-research/spherical-cnn에서 확인할 수 있습니다.

English

Spherical CNNs generalize CNNs to functions on the sphere, by using spherical convolutions as the main linear operation. The most accurate and efficient way to compute spherical convolutions is in the spectral domain (via the convolution theorem), which is still costlier than the usual planar convolutions. For this reason, applications of spherical CNNs have so far been limited to small problems that can be approached with low model capacity. In this work, we show how spherical CNNs can be scaled for much larger problems. To achieve this, we make critical improvements including novel variants of common model components, an implementation of core operations to exploit hardware accelerator characteristics, and application-specific input representations that exploit the properties of our model. Experiments show our larger spherical CNNs reach state-of-the-art on several targets of the QM9 molecular benchmark, which was previously dominated by equivariant graph neural networks, and achieve competitive performance on multiple weather forecasting tasks. Our code is available at https://github.com/google-research/spherical-cnn.

구형 CNN의 스케일링

Scaling Spherical CNNs

초록

Support