PDE-Refiner: Nauwkeurige Lange Simulaties Bereiken met Neurale PDE-Oplossers

PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers

August 10, 2023

Auteurs: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter

cs.AI

Samenvatting

Tijdsafhankelijke partiële differentiaalvergelijkingen (PDE's) zijn alomtegenwoordig in de wetenschap en techniek. Recentelijk, voornamelijk vanwege de hoge rekenkosten van traditionele oplossingstechnieken, hebben surrogaatmodellen gebaseerd op diepe neurale netwerken steeds meer aandacht gekregen. De praktische bruikbaarheid van dergelijke neurale PDE-oplossers hangt af van hun vermogen om nauwkeurige, stabiele voorspellingen te leveren over lange tijdsperioden, wat een berucht moeilijk probleem is. In dit werk presenteren we een grootschalige analyse van veelgebruikte temporele rollout-strategieën, waarbij we het verwaarlozen van niet-dominante ruimtelijke frequentie-informatie, vaak geassocieerd met hoge frequenties in PDE-oplossingen, identificeren als de belangrijkste valkuil die stabiele, nauwkeurige rollout-prestaties beperkt. Gebaseerd op deze inzichten, putten we inspiratie uit recente vooruitgang in diffusiemodellen om PDE-Refiner te introduceren; een nieuwe modelklasse die een nauwkeurigere modellering van alle frequentiecomponenten mogelijk maakt via een meerstaps verfijningsproces. We valideren PDE-Refiner op uitdagende benchmarks van complexe vloeistofdynamica, waarbij we stabiele en nauwkeurige rollouts demonstreren die consistent beter presteren dan state-of-the-art modellen, inclusief neurale, numerieke en hybride neurale-numerieke architecturen. We tonen verder aan dat PDE-Refiner de data-efficiëntie aanzienlijk verbetert, aangezien het denoising-doel impliciet een nieuwe vorm van spectrale data-augmentatie induceert. Ten slotte maakt de verbinding van PDE-Refiner met diffusiemodellen een nauwkeurige en efficiënte beoordeling van de voorspellende onzekerheid van het model mogelijk, waardoor we kunnen inschatten wanneer het surrogaat onnauwkeurig wordt.

English

Time-dependent partial differential equations (PDEs) are ubiquitous in science and engineering. Recently, mostly due to the high computational cost of traditional solution techniques, deep neural network based surrogates have gained increased interest. The practical utility of such neural PDE solvers relies on their ability to provide accurate, stable predictions over long time horizons, which is a notoriously hard problem. In this work, we present a large-scale analysis of common temporal rollout strategies, identifying the neglect of non-dominant spatial frequency information, often associated with high frequencies in PDE solutions, as the primary pitfall limiting stable, accurate rollout performance. Based on these insights, we draw inspiration from recent advances in diffusion models to introduce PDE-Refiner; a novel model class that enables more accurate modeling of all frequency components via a multistep refinement process. We validate PDE-Refiner on challenging benchmarks of complex fluid dynamics, demonstrating stable and accurate rollouts that consistently outperform state-of-the-art models, including neural, numerical, and hybrid neural-numerical architectures. We further demonstrate that PDE-Refiner greatly enhances data efficiency, since the denoising objective implicitly induces a novel form of spectral data augmentation. Finally, PDE-Refiner's connection to diffusion models enables an accurate and efficient assessment of the model's predictive uncertainty, allowing us to estimate when the surrogate becomes inaccurate.