PDE-Refiner: ニューラルPDEソルバーによる高精度な長時間シミュレーションの実現

PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers

August 10, 2023

著者: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter

cs.AI

要旨

時間依存の偏微分方程式（PDE）は、科学や工学において広く見られる。最近では、従来の解法技術の高い計算コストが主な理由で、深層ニューラルネットワークに基づく代理モデルが注目を集めている。このようなニューラルPDEソルバーの実用性は、長時間にわたる正確で安定した予測を提供する能力に依存しており、これは非常に難しい問題として知られている。本研究では、一般的な時間展開戦略の大規模な分析を行い、PDE解において高周波数と関連する非支配的な空間周波数情報の無視が、安定した正確な展開性能を制限する主要な欠点であることを明らかにした。これらの知見に基づき、拡散モデルの最近の進展からインスピレーションを得て、多段階の精緻化プロセスを通じて全ての周波数成分をより正確にモデル化する新しいモデルクラスであるPDE-Refinerを提案する。PDE-Refinerを複雑な流体力学の挑戦的なベンチマークで検証し、ニューラル、数値、およびハイブリッドニューラル-数値アーキテクチャを含む最先端モデルを一貫して上回る安定した正確な展開を実証した。さらに、PDE-Refinerはデータ効率を大幅に向上させることを示す。これは、ノイズ除去の目的関数が暗黙的に新しい形式のスペクトルデータ拡張を誘導するためである。最後に、PDE-Refinerの拡散モデルとの関連性により、モデルの予測不確実性を正確かつ効率的に評価することが可能となり、代理モデルが不正確になるタイミングを推定できる。

English

Time-dependent partial differential equations (PDEs) are ubiquitous in science and engineering. Recently, mostly due to the high computational cost of traditional solution techniques, deep neural network based surrogates have gained increased interest. The practical utility of such neural PDE solvers relies on their ability to provide accurate, stable predictions over long time horizons, which is a notoriously hard problem. In this work, we present a large-scale analysis of common temporal rollout strategies, identifying the neglect of non-dominant spatial frequency information, often associated with high frequencies in PDE solutions, as the primary pitfall limiting stable, accurate rollout performance. Based on these insights, we draw inspiration from recent advances in diffusion models to introduce PDE-Refiner; a novel model class that enables more accurate modeling of all frequency components via a multistep refinement process. We validate PDE-Refiner on challenging benchmarks of complex fluid dynamics, demonstrating stable and accurate rollouts that consistently outperform state-of-the-art models, including neural, numerical, and hybrid neural-numerical architectures. We further demonstrate that PDE-Refiner greatly enhances data efficiency, since the denoising objective implicitly induces a novel form of spectral data augmentation. Finally, PDE-Refiner's connection to diffusion models enables an accurate and efficient assessment of the model's predictive uncertainty, allowing us to estimate when the surrogate becomes inaccurate.