Aprendizaje de Operadores Usando Débil Supervisión a Partir de Caminatas en Esferas

Resumen

La formación de solucionadores de PDE basados en redes neuronales a menudo se ve limitada por la generación costosa de datos o por el uso de redes neuronales informadas por la física (PINN), que son inestables debido a paisajes de optimización complejos provocados por derivadas de orden superior. Para abordar este problema, proponemos un enfoque alternativo que utiliza métodos de Monte Carlo para estimar la solución de la PDE como un proceso estocástico, proporcionando una supervisión débil durante el entrenamiento. Aprovechando el método de Caminata sobre Esferas (Walk-on-Spheres, WoS), introducimos un esquema de aprendizaje denominado Operador Neuronal de Caminata sobre Esferas (WoS-NO), que utiliza la supervisión débil de WoS para entrenar cualquier operador neuronal dado. Proponemos amortizar el coste de las caminatas de Monte Carlo a lo largo de la distribución de instancias de PDE utilizando representaciones estocásticas del algoritmo WoS para generar estimaciones baratas y ruidosas de la solución de la PDE durante el entrenamiento. Esto se formula como un objetivo de física sin datos, donde un operador neuronal se entrena para realizar una regresión contra estas supervisiones débiles, permitiendo que el operador aprenda un mapa de solución generalizado para toda una familia de PDEs. Esta estrategia no requiere conjuntos de datos precomputados costosos, evita calcular derivadas de orden superior para funciones de pérdida que son intensivas en memoria e inestables, y demuestra una generalización zero-shot a nuevos parámetros y dominios de PDE. Los experimentos muestran que, para el mismo número de pasos de entrenamiento, nuestro método exhibe una mejora de hasta 8.75 veces en el error L₂ en comparación con los esquemas de entrenamiento estándar informados por la física, una mejora de hasta 6.31 veces en la velocidad de entrenamiento y reducciones de hasta 2.97 veces en el consumo de memoria de la GPU. Presentamos el código en https://github.com/neuraloperator/WoS-NO.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

Aprendizaje de Operadores Usando Débil Supervisión a Partir de Caminatas en Esferas

Operator Learning Using Weak Supervision from Walk-on-Spheres

Resumen

Support