PDE-Refiner: Достижение точных длительных прогнозов с использованием нейронных решателей дифференциальных уравнений в частных производных
PDE-Refiner: Achieving Accurate Long Rollouts with Neural PDE Solvers
August 10, 2023
Авторы: Phillip Lippe, Bastiaan S. Veeling, Paris Perdikaris, Richard E. Turner, Johannes Brandstetter
cs.AI
Аннотация
Временные дифференциальные уравнения в частных производных (УЧП) широко распространены в науке и технике. В последнее время, в основном из-за высокой вычислительной стоимости традиционных методов решения, возрастает интерес к суррогатным моделям на основе глубоких нейронных сетей. Практическая полезность таких нейронных решателей УЧП зависит от их способности обеспечивать точные и стабильные прогнозы на длительных временных горизонтах, что является известной сложной проблемой. В данной работе мы представляем масштабный анализ распространенных стратегий временного развертывания, выявляя пренебрежение информацией о недоминирующих пространственных частотах, часто связанных с высокими частотами в решениях УЧП, как основную проблему, ограничивающую стабильное и точное развертывание. Основываясь на этих выводах, мы черпаем вдохновение из последних достижений в моделях диффузии и представляем PDE-Refiner — новый класс моделей, который позволяет более точно моделировать все частотные компоненты с помощью многошагового процесса уточнения. Мы проверяем PDE-Refiner на сложных тестах из области динамики сложных жидкостей, демонстрируя стабильное и точное развертывание, которое последовательно превосходит современные модели, включая нейронные, численные и гибридные нейронно-численные архитектуры. Мы также показываем, что PDE-Refiner значительно повышает эффективность использования данных, поскольку задача удаления шума неявно индуцирует новую форму спектрального увеличения данных. Наконец, связь PDE-Refiner с моделями диффузии позволяет точно и эффективно оценивать прогностическую неопределенность модели, что дает возможность определить, когда суррогатная модель становится неточной.
English
Time-dependent partial differential equations (PDEs) are ubiquitous in
science and engineering. Recently, mostly due to the high computational cost of
traditional solution techniques, deep neural network based surrogates have
gained increased interest. The practical utility of such neural PDE solvers
relies on their ability to provide accurate, stable predictions over long time
horizons, which is a notoriously hard problem. In this work, we present a
large-scale analysis of common temporal rollout strategies, identifying the
neglect of non-dominant spatial frequency information, often associated with
high frequencies in PDE solutions, as the primary pitfall limiting stable,
accurate rollout performance. Based on these insights, we draw inspiration from
recent advances in diffusion models to introduce PDE-Refiner; a novel model
class that enables more accurate modeling of all frequency components via a
multistep refinement process. We validate PDE-Refiner on challenging benchmarks
of complex fluid dynamics, demonstrating stable and accurate rollouts that
consistently outperform state-of-the-art models, including neural, numerical,
and hybrid neural-numerical architectures. We further demonstrate that
PDE-Refiner greatly enhances data efficiency, since the denoising objective
implicitly induces a novel form of spectral data augmentation. Finally,
PDE-Refiner's connection to diffusion models enables an accurate and efficient
assessment of the model's predictive uncertainty, allowing us to estimate when
the surrogate becomes inaccurate.