구면 위 행보를 이용한 약한 감독 기반 연산자 학습

초록

신경망 편미분방정식(PDE) 솔버의 학습은 일반적으로 고비용의 데이터 생성 과정이나 고차 도함수로 인한 난해한 최적화 지형을 다뤄야 하는 물리 정보 기반 신경망(PINN)의 불안정성에 의해 병목 현상이 발생합니다. 이러한 문제를 해결하기 위해 본 연구에서는 몬테카를로 접근법을 활용하여 PDE 해를 확률 과정으로 추정하고, 이를 학습 과정에서 약한 감독(weak supervision) 신호로 사용하는 대안적 방법을 제안합니다. Walk-on-Spheres 방법을 활용하여, 우리는 WoS에서 제공하는 약한 감독 신호를 통해 임의의 신경망 연산자를 학습시키는 Walk-on-Spheres Neural Operator(WoS-NO) 학습 방식을 소개합니다. 우리는 몬테카를로 경로 생성 비용을 PDE 인스턴스 분포 전체에 분산시키는 방식을 제안하는데, 이는 WoS 알고리즘의 확률적 표현을 이용해 학습 중에 저비용으로 잡음이 포함된 PDE 해 추정치를 생성합니다. 이를 데이터가 필요 없는 물리 정보 기반 목적 함수로 공식화하여, 신경망 연산자가 이러한 약한 감독 신호를 맞추도록 회귀 학습을 수행함으로써 특정 PDE 군 전체에 대한 일반화된 해 사상을 학습하게 합니다. 이 전략은 고비용의 사전 계산된 데이터셋을 필요로 하지 않으며, 메모리 소모가 크고 불안정한 고차 도함수 계산을 손실 함수에서 회피합니다. 또한 새로운 PDE 매개변수와 영역에 대한 제로-샷 일반화 능력을 보여줍니다. 실험 결과, 동일한 학습 스텝 수 대비 우리의 방법은 표준 물리 정보 기반 학습 방식보다 L_2 오차에서 최대 8.75배, 학습 속도에서 최대 6.31배의 개선을 보였으며, GPU 메모리 사용량은 최대 2.97배 감소하였습니다. 코드는 https://github.com/neuraloperator/WoS-NO에서 확인할 수 있습니다.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

구면 위 행보를 이용한 약한 감독 기반 연산자 학습

Operator Learning Using Weak Supervision from Walk-on-Spheres

초록

Support