球面CNNのスケーリング

要旨

球面CNNは、球面上の関数に対してCNNを一般化し、球面畳み込みを主要な線形演算として利用する。球面畳み込みを最も正確かつ効率的に計算する方法は、スペクトル領域（畳み込み定理を介して）であるが、これは通常の平面畳み込みよりも依然としてコストが高い。このため、球面CNNの応用はこれまで、低いモデル容量でアプローチ可能な小規模な問題に限定されてきた。本研究では、球面CNNをより大規模な問題にスケールアップする方法を示す。これを実現するために、一般的なモデルコンポーネントの新たな変種、ハードウェアアクセラレータの特性を活用するコア演算の実装、およびモデルの特性を活用するアプリケーション固有の入力表現といった重要な改善を行った。実験結果は、我々の大規模な球面CNNが、以前は等変グラフニューラルネットワークが支配的であったQM9分子ベンチマークのいくつかのターゲットにおいて最先端の性能を達成し、複数の気象予報タスクでも競争力のある性能を発揮することを示している。我々のコードはhttps://github.com/google-research/spherical-cnnで公開されている。

English

Spherical CNNs generalize CNNs to functions on the sphere, by using spherical convolutions as the main linear operation. The most accurate and efficient way to compute spherical convolutions is in the spectral domain (via the convolution theorem), which is still costlier than the usual planar convolutions. For this reason, applications of spherical CNNs have so far been limited to small problems that can be approached with low model capacity. In this work, we show how spherical CNNs can be scaled for much larger problems. To achieve this, we make critical improvements including novel variants of common model components, an implementation of core operations to exploit hardware accelerator characteristics, and application-specific input representations that exploit the properties of our model. Experiments show our larger spherical CNNs reach state-of-the-art on several targets of the QM9 molecular benchmark, which was previously dominated by equivariant graph neural networks, and achieve competitive performance on multiple weather forecasting tasks. Our code is available at https://github.com/google-research/spherical-cnn.

球面CNNのスケーリング

Scaling Spherical CNNs

要旨

Support