PDE-Refiner : Atteindre des simulations longues et précises avec des solveurs de PDE neuronaux
PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers
August 10, 2023
Auteurs: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter
cs.AI
Résumé
Les équations aux dérivées partielles (EDP) dépendantes du temps sont omniprésentes dans les domaines scientifiques et techniques. Récemment, principalement en raison du coût computationnel élevé des techniques de résolution traditionnelles, les modèles de substitution basés sur des réseaux de neurones profonds ont suscité un intérêt croissant. L'utilité pratique de ces solveurs neuronaux d'EDP repose sur leur capacité à fournir des prédictions précises et stables sur de longues périodes temporelles, ce qui constitue un problème notoirement difficile. Dans ce travail, nous présentons une analyse à grande échelle des stratégies courantes de déploiement temporel, identifiant la négligence des informations de fréquence spatiale non dominantes, souvent associées aux hautes fréquences dans les solutions d'EDP, comme le principal écueil limitant les performances stables et précises du déploiement. Sur la base de ces observations, nous nous inspirons des avancées récentes dans les modèles de diffusion pour introduire PDE-Refiner ; une nouvelle classe de modèles qui permet une modélisation plus précise de toutes les composantes fréquentielles via un processus de raffinement en plusieurs étapes. Nous validons PDE-Refiner sur des benchmarks complexes de dynamique des fluides, démontrant des déploiements stables et précis qui surpassent systématiquement les modèles de pointe, y compris les architectures neuronales, numériques et hybrides neuronales-numériques. Nous montrons en outre que PDE-Refiner améliore considérablement l'efficacité des données, puisque l'objectif de débruitage induit implicitement une nouvelle forme d'augmentation de données spectrale. Enfin, la connexion de PDE-Refiner aux modèles de diffusion permet une évaluation précise et efficace de l'incertitude prédictive du modèle, nous permettant d'estimer quand le substitut devient imprécis.
English
Time-dependent partial differential equations (PDEs) are ubiquitous in
science and engineering. Recently, mostly due to the high computational cost of
traditional solution techniques, deep neural network based surrogates have
gained increased interest. The practical utility of such neural PDE solvers
relies on their ability to provide accurate, stable predictions over long time
horizons, which is a notoriously hard problem. In this work, we present a
large-scale analysis of common temporal rollout strategies, identifying the
neglect of non-dominant spatial frequency information, often associated with
high frequencies in PDE solutions, as the primary pitfall limiting stable,
accurate rollout performance. Based on these insights, we draw inspiration from
recent advances in diffusion models to introduce PDE-Refiner; a novel model
class that enables more accurate modeling of all frequency components via a
multistep refinement process. We validate PDE-Refiner on challenging benchmarks
of complex fluid dynamics, demonstrating stable and accurate rollouts that
consistently outperform state-of-the-art models, including neural, numerical,
and hybrid neural-numerical architectures. We further demonstrate that
PDE-Refiner greatly enhances data efficiency, since the denoising objective
implicitly induces a novel form of spectral data augmentation. Finally,
PDE-Refiner's connection to diffusion models enables an accurate and efficient
assessment of the model's predictive uncertainty, allowing us to estimate when
the surrogate becomes inaccurate.