PDE-Refiner: Logrando simulaciones prolongadas precisas con solucionadores de EDP basados en redes neuronales

PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers

August 10, 2023

Autores: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter

cs.AI

Resumen

Las ecuaciones diferenciales parciales (EDP) dependientes del tiempo son omnipresentes en la ciencia y la ingeniería. Recientemente, principalmente debido al alto costo computacional de las técnicas tradicionales de solución, los sustitutos basados en redes neuronales profundas han ganado un interés creciente. La utilidad práctica de estos solucionadores de EDP neuronales depende de su capacidad para proporcionar predicciones precisas y estables en horizontes temporales largos, lo cual es un problema notoriamente difícil. En este trabajo, presentamos un análisis a gran escala de las estrategias comunes de despliegue temporal, identificando el descuido de la información de frecuencia espacial no dominante, a menudo asociada con altas frecuencias en las soluciones de EDP, como la principal limitación que afecta el rendimiento estable y preciso del despliegue. Basándonos en estas observaciones, nos inspiramos en avances recientes en modelos de difusión para introducir PDE-Refiner; una nueva clase de modelos que permite un modelado más preciso de todos los componentes de frecuencia mediante un proceso de refinamiento de múltiples pasos. Validamos PDE-Refiner en puntos de referencia desafiantes de dinámica de fluidos compleja, demostrando despliegues estables y precisos que superan consistentemente a los modelos de vanguardia, incluyendo arquitecturas neuronales, numéricas e híbridas neuronales-numéricas. Además, demostramos que PDE-Refiner mejora significativamente la eficiencia de los datos, ya que el objetivo de eliminación de ruido induce implícitamente una nueva forma de aumento de datos espectral. Finalmente, la conexión de PDE-Refiner con los modelos de difusión permite una evaluación precisa y eficiente de la incertidumbre predictiva del modelo, lo que nos permite estimar cuándo el sustituto se vuelve impreciso.

English

Time-dependent partial differential equations (PDEs) are ubiquitous in science and engineering. Recently, mostly due to the high computational cost of traditional solution techniques, deep neural network based surrogates have gained increased interest. The practical utility of such neural PDE solvers relies on their ability to provide accurate, stable predictions over long time horizons, which is a notoriously hard problem. In this work, we present a large-scale analysis of common temporal rollout strategies, identifying the neglect of non-dominant spatial frequency information, often associated with high frequencies in PDE solutions, as the primary pitfall limiting stable, accurate rollout performance. Based on these insights, we draw inspiration from recent advances in diffusion models to introduce PDE-Refiner; a novel model class that enables more accurate modeling of all frequency components via a multistep refinement process. We validate PDE-Refiner on challenging benchmarks of complex fluid dynamics, demonstrating stable and accurate rollouts that consistently outperform state-of-the-art models, including neural, numerical, and hybrid neural-numerical architectures. We further demonstrate that PDE-Refiner greatly enhances data efficiency, since the denoising objective implicitly induces a novel form of spectral data augmentation. Finally, PDE-Refiner's connection to diffusion models enables an accurate and efficient assessment of the model's predictive uncertainty, allowing us to estimate when the surrogate becomes inaccurate.