ウォークオン・スフィア法を用いた弱教師付きオペレータ学習

要旨

ニューラルPDEソルバーの学習は、高コストなデータ生成や、高次導関数による困難な最適化地形を伴う物理情報ニューラルネットワーク（PINN）の不安定性によって、しばしばボトルネックが生じる。この問題に取り組むため、我々はモンテカルロ法を用いてPDEの解を確率過程として推定し、学習中の弱教師信号として利用する代替手法を提案する。球面上歩行法を活用し、WoSからの弱教師信号を用いて任意のニューラル演算子を訓練する学習手法、球面上歩行ニューラル演算子（WoS-NO）を導入する。PDEインスタンスの分布全体に対してモンテカルロ歩行のコストを分散化するため、WoSアルゴリズムからの確率的表現を利用し、学習中に安価でノイズの多いPDE解の推定値を生成する。これをデータ不要の物理情報付き目的関数として定式化し、ニューラル演算子がこれらの弱教師信号に対して回帰するように訓練することで、演算子がPDE群全体に対する一般化された解写像を学習できるようにする。この戦略は、高コストな事前計算データセットを必要とせず、メモリ集約的で不安定な高次導関数の損失関数計算を回避し、新しいPDEパラメータや領域へのゼロショット一般化を実証する。実験では、同じ学習ステップ数において、本手法は標準的な物理情報付き学習スキームと比較してL2誤差で最大8.75倍の改善、学習速度で最大6.31倍の改善、GPUメモリ消費量で最大2.97倍の削減を示した。コードはhttps://github.com/neuraloperator/WoS-NO で公開している。

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

ウォークオン・スフィア法を用いた弱教師付きオペレータ学習

Operator Learning Using Weak Supervision from Walk-on-Spheres

要旨

Support