Frequentiebias en OOD-generalisatie in neurale operatoren onder een golfvergelijking met variabele coëfficiënten

Samenvatting

Neurale operatoren leren om begincondities af te beelden op de eindoplossing van partiële differentiaalvergelijkingen (PDV's), en vormen zo een surrogaat voor de volledige operatorafbeelding. Dit maakt snelle voorspellingen mogelijk voor verschillende invoerconfiguraties. Hoewel recente neurale operatorarchitecturen sterke prestaties hebben laten zien op diverse PDV-taken, blijft hun gedrag onder gestructureerde verschuivingen in de verdeling onvoldoende begrepen. Om dit te onderzoeken bestuderen we operatorleren in een golfvoortplantingscontext die wordt beschreven door een eendimensionale golfvergelijking met variabele coëfficiënten, met behulp van twee representatieve architecturen: de Fourier Neural Operator (FNO) en het Deep Operator Network (DeepONet). Om hun generalisatie onder verschuivingen in de verdeling te onderzoeken, beschouwen we gestructureerde out-of-distribution (OOD)-omgevingen die onafhankelijk de invoerfrequentie en de gladheid van de coëfficiënt variëren. De resultaten tonen aan dat onder verschuivingen in gladheid beide modellen stabiele prestaties behouden, waarbij FNO lagere fout bereikt. Daarentegen vertoont FNO onder frequentieverschuivingen een sterke toename in fout bij ongeziene hoogfrequente invoer, terwijl DeepONet een mildere achteruitgang laat zien, ondanks een hogere totale fout. Onze analyse laat zien dat deze verschillen voortkomen uit hoe elke architectuur variaties in frequentiestructuur representeert en erop reageert. Samen benadrukken deze bevindingen een fundamentele kloof tussen sterke prestaties binnen de verdeling en generalisatie onder verschuivingen in de verdeling bij operatorleren, en onderstrepen ze de rol van architecturale representatiebias bij het ontwikkelen van betrouwbaardere neurale operatoren voor fysica-gebaseerde PDV-simulaties buiten de trainingsverdeling.

English

Neural operators learn to map initial conditions to the terminal solution of partial differential equations (PDEs), providing a surrogate for the full operator mapping. This enables rapid prediction across different input configurations. While recent neural operator architectures have demonstrated strong performance on diverse PDE tasks, their behavior under structured distribution shifts remains insufficiently understood. To investigate this, we study operator learning in a wave propagation setting governed by a one-dimensional variable-coefficient wave equation, using two representative architectures, the Fourier Neural Operator (FNO) and the Deep Operator Network (DeepONet). To examine their generalization under distribution shifts, we consider structured out-of-distribution (OOD) settings that independently vary input frequency and coefficient smoothness. The results show that under smoothness shifts, both models maintain stable performance, with FNO achieving lower error. In contrast, under frequency shifts, FNO exhibits a sharp increase in error under unseen high-frequency inputs, whereas DeepONet shows milder degradation despite higher overall error. Our analysis reveals that these differences arise from how each architecture represents and responds to variations in frequency structure. Together, these findings highlight a fundamental gap between strong in-distribution performance and generalization under distribution shifts in operator learning, underscoring the role of architectural representation bias in developing more reliable neural operators for physics-based PDE simulations beyond the training distribution.