Apprendimento di Operatori Utilizzando Debole Supervisione da Cammini su Sfere
Operator Learning Using Weak Supervision from Walk-on-Spheres
March 1, 2026
Autori: Hrishikesh Viswanath, Hong Chul Nam, Xi Deng, Julius Berner, Anima Anandkumar, Aniket Bera
cs.AI
Abstract
L'addestramento di solutori di PDE neurali è spesso limitato dalla costosa generazione di dati o dall'instabilità delle reti neurali informate dalla fisica (PINN), che coinvolgono paesaggi di ottimizzazione complessi a causa di derivate di ordine superiore. Per affrontare questo problema, proponiamo un approccio alternativo che utilizza metodi Monte Carlo per stimare la soluzione della PDE come un processo stocastico per una supervisione debole durante l'addestramento. Sfruttando il metodo Walk-on-Spheres, introduciamo uno schema di apprendimento chiamato Walk-on-Spheres Neural Operator (WoS-NO), che utilizza la supervisione debole da WoS per addestrare qualsiasi operatore neurale dato. Proponiamo di ammortizzare il costo dei percorsi Monte Carlo attraverso la distribuzione di istanze di PDE utilizzando rappresentazioni stocastiche dall'algoritmo WoS per generare stime economiche e rumorose della soluzione della PDE durante l'addestramento. Questo è formulato in un obiettivo informato dalla fisica senza dati, in cui un operatore neurale viene addestrato a regredire rispetto a queste supervisioni deboli, permettendo all'operatore di apprendere una mappa di soluzione generalizzata per un'intera famiglia di PDE. Questa strategia non richiede costosi dataset pre-calcolati, evita il calcolo di derivate di ordine superiore per funzioni di perdita che sono dispendiose in termini di memoria e instabili, e dimostra una generalizzazione zero-shot a nuovi parametri e domini di PDE. Gli esperimenti mostrano che, per lo stesso numero di passi di addestramento, il nostro metodo presenta un miglioramento fino a 8,75 volte nell'errore L² rispetto agli schemi di addestramento standard informati dalla fisica, un miglioramento fino a 6,31 volte nella velocità di addestramento e riduzioni fino a 2,97 volte nel consumo di memoria GPU. Presentiamo il codice all'indirizzo https://github.com/neuraloperator/WoS-NO.
English
Training neural PDE solvers is often bottlenecked by expensive data generation or unstable physics-informed neural network (PINN) involving challenging optimization landscapes due to higher-order derivatives. To tackle this issue, we propose an alternative approach using Monte Carlo approaches to estimate the solution to the PDE as a stochastic process for weak supervision during training. Leveraging the Walk-on-Spheres method, we introduce a learning scheme called Walk-on-Spheres Neural Operator (WoS-NO) which uses weak supervision from WoS to train any given neural operator. We propose to amortize the cost of Monte Carlo walks across the distribution of PDE instances using stochastic representations from the WoS algorithm to generate cheap, noisy, estimates of the PDE solution during training. This is formulated into a data-free physics-informed objective where a neural operator is trained to regress against these weak supervisions, allowing the operator to learn a generalized solution map for an entire family of PDEs. This strategy does not require expensive pre-computed datasets, avoids computing higher-order derivatives for loss functions that are memory-intensive and unstable, and demonstrates zero-shot generalization to novel PDE parameters and domains. Experiments show that for the same number of training steps, our method exhibits up to 8.75times improvement in L_2-error compared to standard physics-informed training schemes, up to 6.31times improvement in training speed, and reductions of up to 2.97times in GPU memory consumption. We present the code at https://github.com/neuraloperator/WoS-NO