Самообучение с использованием симметрий Ли для уравнений в частных производных

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Авторы: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Аннотация

Машинное обучение для дифференциальных уравнений открывает путь к вычислительно эффективным альтернативам численным решателям, что может иметь широкое влияние на науку и технику. Хотя современные алгоритмы обычно требуют смоделированных обучающих данных, адаптированных к конкретной задаче, можно также стремиться извлекать полезную информацию из разнородных источников или из наблюдений реальных динамических систем, которые могут быть неупорядоченными или неполными. В данной работе мы изучаем универсальные представления уравнений в частных производных (УЧП) на основе разнородных данных, применяя методы совместного встраивания для самообучения (SSL) — подход к обучению представлений без учителя, который показал значительные успехи в компьютерном зрении. Наше представление превосходит базовые подходы в задачах инвариантности, таких как регрессия коэффициентов УЧП, а также улучшает производительность нейронных решателей при пошаговом интегрировании. Мы надеемся, что предложенная методология окажется полезной для разработки универсальных базовых моделей для УЧП в будущем.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.