Viés de Frequência e Generalização OOD em Operadores Neurais sob uma Equação de Onda de Coeficiente Variável

Resumo

Operadores neurais aprendem a mapear condições iniciais para a solução terminal de equações diferenciais parciais (EDPs), fornecendo um substituto para o mapeamento completo do operador. Isso possibilita a previsão rápida em diferentes configurações de entrada. Embora arquiteturas recentes de operadores neurais tenham demonstrado forte desempenho em diversas tarefas envolvendo EDPs, seu comportamento sob desvios estruturados na distribuição ainda é insuficientemente compreendido. Para investigar isso, estudamos o aprendizado de operadores em um contexto de propagação de ondas regido por uma equação de onda unidimensional com coeficientes variáveis, utilizando duas arquiteturas representativas: o Operador Neural de Fourier (FNO) e a Rede de Operadores Profunda (DeepONet). Para examinar sua generalização sob desvios na distribuição, consideramos cenários estruturados fora da distribuição (OOD) que variam independentemente a frequência de entrada e a suavidade dos coeficientes. Os resultados mostram que, sob variações na suavidade, ambos os modelos mantêm desempenho estável, com o FNO apresentando menor erro. Em contrapartida, sob variações na frequência, o FNO exibe um aumento acentuado no erro para entradas de alta frequência não vistas, enquanto o DeepONet mostra uma degradação mais moderada, apesar de apresentar erro geral mais elevado. Nossa análise revela que essas diferenças decorrem de como cada arquitetura representa e responde a variações na estrutura de frequência. Em conjunto, esses achados destacam uma lacuna fundamental entre o forte desempenho dentro da distribuição e a generalização sob desvios na distribuição no aprendizado de operadores, ressaltando o papel do viés de representação arquitetural no desenvolvimento de operadores neurais mais confiáveis para simulações de EDPs baseadas em física além da distribuição de treinamento.

English

Neural operators learn to map initial conditions to the terminal solution of partial differential equations (PDEs), providing a surrogate for the full operator mapping. This enables rapid prediction across different input configurations. While recent neural operator architectures have demonstrated strong performance on diverse PDE tasks, their behavior under structured distribution shifts remains insufficiently understood. To investigate this, we study operator learning in a wave propagation setting governed by a one-dimensional variable-coefficient wave equation, using two representative architectures, the Fourier Neural Operator (FNO) and the Deep Operator Network (DeepONet). To examine their generalization under distribution shifts, we consider structured out-of-distribution (OOD) settings that independently vary input frequency and coefficient smoothness. The results show that under smoothness shifts, both models maintain stable performance, with FNO achieving lower error. In contrast, under frequency shifts, FNO exhibits a sharp increase in error under unseen high-frequency inputs, whereas DeepONet shows milder degradation despite higher overall error. Our analysis reveals that these differences arise from how each architecture represents and responds to variations in frequency structure. Together, these findings highlight a fundamental gap between strong in-distribution performance and generalization under distribution shifts in operator learning, underscoring the role of architectural representation bias in developing more reliable neural operators for physics-based PDE simulations beyond the training distribution.