PDE-Refiner: Raggiungere simulazioni lunghe e accurate con risolutori neurali di equazioni differenziali alle derivate parziali

PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers

August 10, 2023

Autori: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter

cs.AI

Abstract

Le equazioni differenziali alle derivate parziali (PDE) dipendenti dal tempo sono onnipresenti nella scienza e nell'ingegneria. Recentemente, principalmente a causa dell'elevato costo computazionale delle tecniche di soluzione tradizionali, i surrogati basati su reti neurali profonde hanno suscitato un crescente interesse. L'utilità pratica di tali risolutori neurali di PDE dipende dalla loro capacità di fornire previsioni accurate e stabili su lunghi orizzonti temporali, un problema notoriamente difficile. In questo lavoro, presentiamo un'analisi su larga scala delle comuni strategie di rollout temporale, identificando la trascuratezza delle informazioni sulle frequenze spaziali non dominanti, spesso associate alle alte frequenze nelle soluzioni delle PDE, come la principale insidia che limita le prestazioni di rollout stabili e accurati. Basandoci su queste intuizioni, traiamo ispirazione dai recenti progressi nei modelli di diffusione per introdurre PDE-Refiner; una nuova classe di modelli che consente una modellizzazione più accurata di tutte le componenti di frequenza attraverso un processo di raffinamento a più passaggi. Validiamo PDE-Refiner su benchmark impegnativi di fluidodinamica complessa, dimostrando rollout stabili e accurati che superano costantemente i modelli all'avanguardia, inclusi architetture neurali, numeriche e ibride neurali-numeriche. Inoltre, dimostriamo che PDE-Refiner migliora notevolmente l'efficienza dei dati, poiché l'obiettivo di denoising induce implicitamente una nuova forma di aumento spettrale dei dati. Infine, la connessione di PDE-Refiner ai modelli di diffusione consente una valutazione accurata ed efficiente dell'incertezza predittiva del modello, permettendoci di stimare quando il surrogato diventa inaccurato.

English

Time-dependent partial differential equations (PDEs) are ubiquitous in science and engineering. Recently, mostly due to the high computational cost of traditional solution techniques, deep neural network based surrogates have gained increased interest. The practical utility of such neural PDE solvers relies on their ability to provide accurate, stable predictions over long time horizons, which is a notoriously hard problem. In this work, we present a large-scale analysis of common temporal rollout strategies, identifying the neglect of non-dominant spatial frequency information, often associated with high frequencies in PDE solutions, as the primary pitfall limiting stable, accurate rollout performance. Based on these insights, we draw inspiration from recent advances in diffusion models to introduce PDE-Refiner; a novel model class that enables more accurate modeling of all frequency components via a multistep refinement process. We validate PDE-Refiner on challenging benchmarks of complex fluid dynamics, demonstrating stable and accurate rollouts that consistently outperform state-of-the-art models, including neural, numerical, and hybrid neural-numerical architectures. We further demonstrate that PDE-Refiner greatly enhances data efficiency, since the denoising objective implicitly induces a novel form of spectral data augmentation. Finally, PDE-Refiner's connection to diffusion models enables an accurate and efficient assessment of the model's predictive uncertainty, allowing us to estimate when the surrogate becomes inaccurate.