Operatorleren met behulp van zwakke supervisie vanuit wandelingen-op-bollen

Operator Learning Using Weak Supervision from Walk-on-Spheres

March 1, 2026

Auteurs: Hrishikesh Viswanath, Hong Chul Nam, Xi Deng, Julius Berner, Anima Anandkumar, Aniket Bera

cs.AI

Samenvatting

Het trainen van neurale PDE-oplossers wordt vaak beperkt door dure datageneratie of onstabiele physics-informed neural networks (PINN) die uitdagende optimalisatielandschappen bevatten als gevolg van hogere-orde afgeleiden. Om dit probleem aan te pakken, stellen we een alternatieve aanpak voor die Monte Carlo-methoden gebruikt om de oplossing van de PDE te schatten als een stochastisch proces voor zwakke supervisie tijdens de training. Gebruikmakend van de Walk-on-Spheres-methode introduceren we een leerschema genaamd Walk-on-Spheres Neural Operator (WoS-NO) dat zwakke supervisie van WoS gebruikt om een willekeurige neurale operator te trainen. Wij stellen voor om de kosten van Monte Carlo-wandelingen te amortiseren over de verdeling van PDE-instanties met behulp van stochastische representaties van het WoS-algoritme om goedkope, ruwe schattingen van de PDE-oplossing te genereren tijdens de training. Dit wordt geformuleerd in een data-vrij, physics-informed doelstelling waarbij een neurale operator wordt getraind om te regresseren tegen deze zwakke supervisies, waardoor de operator een gegeneraliseerde oplossingsafbeelding kan leren voor een hele familie van PDE's. Deze strategie vereist geen dure vooraf berekende datasets, vermijdt het berekenen van hogere-orde afgeleiden voor geheugenintensieve en onstabiele verliesfuncties, en demonstreert zero-shot generalisatie naar nieuwe PDE-parameters en domeinen. Experimenten tonen aan dat voor hetzelfde aantal trainingsstappen onze methode een verbetering tot 8,75x in L_2-fout vertoont in vergelijking met standaard physics-informed trainingsschema's, een verbetering tot 6,31x in trainingssnelheid, en een reductie tot 2,97x in GPU-geheugengebruik. Wij presenteren de code op https://github.com/neuraloperator/WoS-NO.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO