PDE-Refiner: Alcançando Simulações Longas e Precisas com Solucionadores Neurais de EDPs
PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers
August 10, 2023
Autores: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter
cs.AI
Resumo
Equações diferenciais parciais (EDPs) dependentes do tempo são ubíquas na ciência e na engenharia. Recentemente, principalmente devido ao alto custo computacional das técnicas tradicionais de solução, substitutos baseados em redes neurais profundas têm ganhado crescente interesse. A utilidade prática desses solucionadores de EDPs neurais depende de sua capacidade de fornecer previsões precisas e estáveis em horizontes temporais longos, o que é um problema notoriamente difícil. Neste trabalho, apresentamos uma análise em larga escala de estratégias comuns de desdobramento temporal, identificando a negligência de informações de frequência espacial não dominantes, frequentemente associadas a altas frequências em soluções de EDPs, como a principal armadilha que limita o desempenho estável e preciso do desdobramento. Com base nessas percepções, inspiramo-nos em avanços recentes em modelos de difusão para introduzir o PDE-Refiner; uma nova classe de modelos que permite uma modelagem mais precisa de todos os componentes de frequência por meio de um processo de refinamento em múltiplas etapas. Validamos o PDE-Refiner em benchmarks desafiadores de dinâmica de fluidos complexa, demonstrando desdobramentos estáveis e precisos que consistentemente superam modelos state-of-the-art, incluindo arquiteturas neurais, numéricas e híbridas neurais-numéricas. Além disso, demonstramos que o PDE-Refiner aumenta significativamente a eficiência de dados, uma vez que o objetivo de remoção de ruído induz implicitamente uma nova forma de aumento espectral de dados. Por fim, a conexão do PDE-Refiner com modelos de difusão permite uma avaliação precisa e eficiente da incerteza preditiva do modelo, possibilitando estimar quando o substituto se torna impreciso.
English
Time-dependent partial differential equations (PDEs) are ubiquitous in
science and engineering. Recently, mostly due to the high computational cost of
traditional solution techniques, deep neural network based surrogates have
gained increased interest. The practical utility of such neural PDE solvers
relies on their ability to provide accurate, stable predictions over long time
horizons, which is a notoriously hard problem. In this work, we present a
large-scale analysis of common temporal rollout strategies, identifying the
neglect of non-dominant spatial frequency information, often associated with
high frequencies in PDE solutions, as the primary pitfall limiting stable,
accurate rollout performance. Based on these insights, we draw inspiration from
recent advances in diffusion models to introduce PDE-Refiner; a novel model
class that enables more accurate modeling of all frequency components via a
multistep refinement process. We validate PDE-Refiner on challenging benchmarks
of complex fluid dynamics, demonstrating stable and accurate rollouts that
consistently outperform state-of-the-art models, including neural, numerical,
and hybrid neural-numerical architectures. We further demonstrate that
PDE-Refiner greatly enhances data efficiency, since the denoising objective
implicitly induces a novel form of spectral data augmentation. Finally,
PDE-Refiner's connection to diffusion models enables an accurate and efficient
assessment of the model's predictive uncertainty, allowing us to estimate when
the surrogate becomes inaccurate.