Aprendizado de Operadores Usando Supervisão Fraca a Partir de Caminhadas em Esferas

Resumo

A treinamento de solucionadores de PDEs neurais é frequentemente limitado pela geração de dados dispendiosa ou por redes neurais informadas pela física (PINNs) instáveis, que envolvem paisagens de otimização desafiadoras devido a derivadas de ordem superior. Para enfrentar esse problema, propomos uma abordagem alternativa usando métodos de Monte Carlo para estimar a solução da PDE como um processo estocástico para supervisão fraca durante o treinamento. Aproveitando o método Walk-on-Spheres (Caminhada nas Esferas), introduzimos um esquema de aprendizado chamado Walk-on-Spheres Neural Operator (WoS-NO), que utiliza a supervisão fraca do WoS para treinar qualquer operador neural dado. Propomos amortizar o custo dos passeios de Monte Carlo através da distribuição de instâncias de PDEs usando representações estocásticas do algoritmo WoS para gerar estimativas baratas e ruidosas da solução da PDE durante o treinamento. Isto é formulado em um objetivo de física sem dados (*data-free physics-informed*), onde um operador neural é treinado para regredir contra essas supervisões fracas, permitindo que o operador aprenda um mapa de solução generalizado para uma família inteira de PDEs. Esta estratégia não requer conjuntos de dados pré-computados dispendiosos, evita o cálculo de derivadas de ordem superior para funções de perda que são intensivas em memória e instáveis, e demonstra generalização *zero-shot* para novos parâmetros e domínios de PDEs. Experimentos mostram que, para o mesmo número de etapas de treinamento, nosso método exibe uma melhoria de até 8,75 vezes no erro L² em comparação com esquemas de treinamento padrão informados pela física, uma melhoria de até 6,31 vezes na velocidade de treinamento e reduções de até 2,97 vezes no consumo de memória da GPU. Apresentamos o código em https://github.com/neuraloperator/WoS-NO.

English

Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO

Aprendizado de Operadores Usando Supervisão Fraca a Partir de Caminhadas em Esferas

Operator Learning Using Weak Supervision from Walk-on-Spheres

Resumo

Support