PDE-Refiner: Präzise Langzeitprognosen mit neuronalen PDE-Lösern erreichen
PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers
August 10, 2023
Autoren: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter
cs.AI
Zusammenfassung
Zeitabhängige partielle Differentialgleichungen (PDEs) sind in den Natur- und Ingenieurwissenschaften allgegenwärtig. In jüngster Zeit haben tiefe neuronale Netzwerke als Surrogatmodelle aufgrund der hohen Rechenkosten traditioneller Lösungsverfahren zunehmend an Interesse gewonnen. Die praktische Nützlichkeit solcher neuronalen PDE-Löser hängt von ihrer Fähigkeit ab, über lange Zeiträume hinweg präzise und stabile Vorhersagen zu liefern, was ein bekannt schwieriges Problem darstellt. In dieser Arbeit präsentieren wir eine groß angelegte Analyse gängiger zeitlicher Rollout-Strategien und identifizieren die Vernachlässigung nicht-dominanter räumlicher Frequenzinformationen, die oft mit hohen Frequenzen in PDE-Lösungen verbunden sind, als die Hauptschwäche, die die stabile und präzise Rollout-Leistung einschränkt. Basierend auf diesen Erkenntnissen lassen wir uns von jüngsten Fortschritten in Diffusionsmodellen inspirieren und führen PDE-Refiner ein; eine neuartige Modellklasse, die eine präzisere Modellierung aller Frequenzkomponenten durch einen mehrstufigen Verfeinerungsprozess ermöglicht. Wir validieren PDE-Refiner anspruchsvollen Benchmarks komplexer Strömungsdynamik und demonstrieren stabile und präzise Rollouts, die durchweg state-of-the-art Modelle, einschließlich neuronaler, numerischer und hybrider neuronal-numerischer Architekturen, übertreffen. Darüber hinaus zeigen wir, dass PDE-Refiner die Dateneffizienz erheblich verbessert, da das Entrauschungsziel implizit eine neuartige Form der spektralen Datenaugmentierung induziert. Schließlich ermöglicht die Verbindung von PDE-Refiner zu Diffusionsmodellen eine präzise und effiziente Bewertung der Vorhersageunsicherheit des Modells, wodurch wir abschätzen können, wann das Surrogat ungenau wird.
English
Time-dependent partial differential equations (PDEs) are ubiquitous in
science and engineering. Recently, mostly due to the high computational cost of
traditional solution techniques, deep neural network based surrogates have
gained increased interest. The practical utility of such neural PDE solvers
relies on their ability to provide accurate, stable predictions over long time
horizons, which is a notoriously hard problem. In this work, we present a
large-scale analysis of common temporal rollout strategies, identifying the
neglect of non-dominant spatial frequency information, often associated with
high frequencies in PDE solutions, as the primary pitfall limiting stable,
accurate rollout performance. Based on these insights, we draw inspiration from
recent advances in diffusion models to introduce PDE-Refiner; a novel model
class that enables more accurate modeling of all frequency components via a
multistep refinement process. We validate PDE-Refiner on challenging benchmarks
of complex fluid dynamics, demonstrating stable and accurate rollouts that
consistently outperform state-of-the-art models, including neural, numerical,
and hybrid neural-numerical architectures. We further demonstrate that
PDE-Refiner greatly enhances data efficiency, since the denoising objective
implicitly induces a novel form of spectral data augmentation. Finally,
PDE-Refiner's connection to diffusion models enables an accurate and efficient
assessment of the model's predictive uncertainty, allowing us to estimate when
the surrogate becomes inaccurate.