PDE-Refiner: 신경망 PDE 솔버를 통한 정확한 롤아웃 달성
PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers
August 10, 2023
저자: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter
cs.AI
초록
시간 의존적 편미분 방정식(PDE)은 과학과 공학 분야에서 광범위하게 사용됩니다. 최근에는 전통적인 해법 기법의 높은 계산 비용으로 인해 딥 뉴럴 네트워크 기반의 대체 모델에 대한 관심이 크게 증가했습니다. 이러한 신경망 PDE 솔버의 실용성은 장기간에 걸쳐 정확하고 안정적인 예측을 제공할 수 있는 능력에 달려 있으며, 이는 매우 어려운 문제로 알려져 있습니다. 본 연구에서는 일반적인 시간적 롤아웃 전략에 대한 대규모 분석을 수행하여, PDE 해법에서 고주파와 관련된 비주도적 공간 주파수 정보의 소홀이 안정적이고 정확한 롤아웃 성능을 제한하는 주요 문제점임을 확인했습니다. 이러한 통찰을 바탕으로, 우리는 최근 디퓨전 모델의 발전에서 영감을 받아 PDE-Refiner를 소개합니다. 이는 다단계 정제 과정을 통해 모든 주파수 성분을 더 정확하게 모델링할 수 있는 새로운 모델 클래스입니다. 우리는 복잡한 유체 역학의 도전적인 벤치마크에서 PDE-Refiner를 검증하여, 신경망, 수치적, 그리고 하이브리드 신경망-수치적 아키텍처를 포함한 최첨단 모델들을 일관되게 능가하는 안정적이고 정확한 롤아웃을 입증했습니다. 또한, PDE-Refiner는 디노이징 목표가 암묵적으로 새로운 형태의 스펙트럼 데이터 증강을 유도하기 때문에 데이터 효율성을 크게 향상시킴을 보여줍니다. 마지막으로, PDE-Refiner의 디퓨전 모델과의 연결은 모델의 예측 불확실성을 정확하고 효율적으로 평가할 수 있게 하여, 대체 모델이 부정확해지는 시점을 추정할 수 있도록 합니다.
English
Time-dependent partial differential equations (PDEs) are ubiquitous in
science and engineering. Recently, mostly due to the high computational cost of
traditional solution techniques, deep neural network based surrogates have
gained increased interest. The practical utility of such neural PDE solvers
relies on their ability to provide accurate, stable predictions over long time
horizons, which is a notoriously hard problem. In this work, we present a
large-scale analysis of common temporal rollout strategies, identifying the
neglect of non-dominant spatial frequency information, often associated with
high frequencies in PDE solutions, as the primary pitfall limiting stable,
accurate rollout performance. Based on these insights, we draw inspiration from
recent advances in diffusion models to introduce PDE-Refiner; a novel model
class that enables more accurate modeling of all frequency components via a
multistep refinement process. We validate PDE-Refiner on challenging benchmarks
of complex fluid dynamics, demonstrating stable and accurate rollouts that
consistently outperform state-of-the-art models, including neural, numerical,
and hybrid neural-numerical architectures. We further demonstrate that
PDE-Refiner greatly enhances data efficiency, since the denoising objective
implicitly induces a novel form of spectral data augmentation. Finally,
PDE-Refiner's connection to diffusion models enables an accurate and efficient
assessment of the model's predictive uncertainty, allowing us to estimate when
the surrogate becomes inaccurate.