Обучение операторов с использованием слабого обучения на основе метода блуждания по сферам

Аннотация

Обучение нейросетевых решателей дифференциальных уравнений в частных производных (ДУЧП) часто ограничивается дорогостоящей генерацией данных или нестабильными физико-информированными нейронными сетями (Physics-Informed Neural Networks, PINN), связанными со сложными ландшафтами оптимизации из-за производных высокого порядка. Для решения этой проблемы мы предлагаем альтернативный подход, использующий методы Монте-Карло для оценки решения ДУЧП как стохастического процесса с целью слабого обучения (weak supervision). Используя метод блуждания по сферам (Walk-on-Spheres, WoS), мы представляем схему обучения под названием WoS-Neural Operator (WoS-NO), которая применяет слабое обучение на основе WoS для тренировки любого заданного нейронного оператора. Мы предлагаем амортизировать стоимость вычислений методом Монте-Карло по распределению экземпляров ДУЧП, используя стохастические представления из алгоритма WoS для генерации дешёвых, зашумленных оценок решения ДУЧП в процессе обучения. Это формулируется в виде физико-информированного функционала без использования данных, где нейронный оператор обучается регрессии по этим слабым supervision, что позволяет оператору изучать обобщённое отображение решений для целого семейства ДУЧП. Данная стратегия не требует дорогостоящих предварительно вычисленных наборов данных, избегает вычисления производных высокого порядка для функций потерь, которые ресурсоёмки по памяти и нестабильны, и демонстрирует обобщение на новые параметры и области ДУЧП без дообучения (zero-shot generalization). Эксперименты показывают, что при одинаковом количестве шагов обучения наш метод демонстрирует до 8.75-кратного улучшения по L_2-ошибке по сравнению со стандартными физико-информированными схемами обучения, до 6.31-кратного ускорения обучения и сокращение потребления памяти на GPU до 2.97 раз. Код представлен по адресу https://github.com/neuraloperator/WoS-NO.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

Обучение операторов с использованием слабого обучения на основе метода блуждания по сферам

Operator Learning Using Weak Supervision from Walk-on-Spheres

Аннотация

Support