Apprentissage d'opérateurs par supervision faible à partir de marches sur les sphères

Résumé

L'entraînement de solveurs d'EDP par réseaux de neurones est souvent limité par le coût élevé de la génération de données ou par l'instabilité des méthodes basées sur la physique (PINN), qui impliquent des paysages d'optimisation difficiles en raison des dérivées d'ordre supérieur. Pour résoudre ce problème, nous proposons une approche alternative utilisant des méthodes de Monte Carlo pour estimer la solution de l'EDP comme un processus stochastique, servant de supervision faible pendant l'entraînement. En tirant parti de la méthode de marche sur les sphères, nous introduisons un schéma d'apprentissage appelé Opérateur Neuronal par Marche sur les Sphères (WoS-NO) qui utilise la supervision faible issue de la WoS pour entraîner n'importe quel opérateur neuronal donné. Nous proposons d'amortir le coût des marches de Monte Carlo sur la distribution des instances d'EDP en utilisant les représentations stochastiques de l'algorithme WoS pour générer des estimations peu coûteuses et bruitées de la solution de l'EDP pendant l'entraînement. Ceci est formulé en un objectif basé sur la physique et sans données, où un opérateur neuronal est entraîné à effectuer une régression par rapport à ces supervisions faibles, permettant à l'opérateur d'apprendre une carte de solution généralisée pour une famille entière d'EDP. Cette stratégie ne nécessite pas de jeux de données pré-calculés coûteux, évite le calcul de dérivées d'ordre supérieur pour les fonctions de perte qui sont gourmandes en mémoire et instables, et démontre une généralisation à zéro-shot pour de nouveaux paramètres et domaines d'EDP. Les expériences montrent que pour le même nombre d'étapes d'entraînement, notre méthode présente une amélioration allant jusqu'à 8,75 fois de l'erreur L₂ par rapport aux schémas d'entraînement standard basés sur la physique, une amélioration allant jusqu'à 6,31 fois de la vitesse d'entraînement, et des réductions allant jusqu'à 2,97 fois de la consommation de mémoire GPU. Nous présentons le code à l'adresse https://github.com/neuraloperator/WoS-NO.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

Apprentissage d'opérateurs par supervision faible à partir de marches sur les sphères

Operator Learning Using Weak Supervision from Walk-on-Spheres

Résumé

Support