Operatorlernen mit schwacher Überwachung durch Walk-on-Spheres

Zusammenfassung

Das Training neuronaler PDE-Löser wird häufig durch teure Datengenerierung oder instabile physikinformierte neuronale Netze (PINNs) mit herausfordernden Optimierungslandschaften aufgrund von Ableitungen höherer Ordnung eingeschränkt. Um dieses Problem zu lösen, schlagen wir einen alternativen Ansatz vor, der Monte-Carlo-Methoden zur Schätzung der PDE-Lösung als stochastischen Prozess für schwache Supervision während des Trainings nutzt. Unter Verwendung der Walk-on-Spheres-Methode führen wir ein Lernverfahren namens Walk-on-Spheres Neural Operator (WoS-NO) ein, das schwache Supervision aus WoS nutzt, um einen beliebigen neuronalen Operator zu trainieren. Wir schlagen vor, die Kosten von Monte-Carlo-Pfaden über die Verteilung von PDE-Instanzen zu amortisieren, indem stochastische Darstellungen aus dem WoS-Algorithmus verwendet werden, um während des Trainings günstige, verrauschte Schätzungen der PDE-Lösung zu generieren. Dies wird in ein datenfreies physikinformiertes Ziel überführt, bei dem ein neuronaler Operator trainiert wird, um diese schwachen Supervisionen zu regredieren, wodurch der Operator eine generalisierte Lösungsabbildung für eine gesamte Familie von PDEs erlernt. Diese Strategie erfordert keine teuren vorberechneten Datensätze, vermeidet die Berechnung von Ableitungen höherer Ordnung für speicherintensive und instabile Verlustfunktionen und zeigt Zero-Shot-Generalisierung auf neue PDE-Parameter und Domänen. Experimente zeigen, dass unsere Methode bei gleicher Anzahl von Trainingsschritten eine bis zu 8,75-fache Verbesserung des L₂-Fehlers im Vergleich zu standardmäßigen physikinformierten Trainingsverfahren aufweist, eine bis zu 6,31-fache Steigerung der Trainingsgeschwindigkeit und eine Reduktion des GPU-Speicherverbrauchs um bis zu 2,97-fach. Den Code stellen wir unter https://github.com/neuraloperator/WoS-NO bereit.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

Operatorlernen mit schwacher Überwachung durch Walk-on-Spheres

Operator Learning Using Weak Supervision from Walk-on-Spheres

Zusammenfassung

Support