Apprentissage auto-supervisé avec des symétries de Lie pour les équations aux dérivées partielles

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Auteurs: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Résumé

L'apprentissage automatique pour les équations différentielles ouvre la voie à des alternatives efficaces sur le plan computationnel aux solveurs numériques, avec des impacts potentiellement vastes en science et en ingénierie. Bien que les algorithmes actuels nécessitent généralement des données d'entraînement simulées adaptées à un contexte spécifique, on pourrait souhaiter apprendre des informations utiles à partir de sources hétérogènes, ou à partir d'observations de systèmes dynamiques réels qui sont bruitées ou incomplètes. Dans ce travail, nous apprenons des représentations polyvalentes d'équations aux dérivées partielles (EDP) à partir de données hétérogènes en mettant en œuvre des méthodes d'encastrement conjoint pour l'apprentissage auto-supervisé (SSL), un cadre d'apprentissage de représentations non supervisé qui a connu un succès notable en vision par ordinateur. Notre représentation surpasse les approches de référence pour des tâches invariantes, telles que la régression des coefficients d'une EDP, tout en améliorant les performances de pas de temps des solveurs neuronaux. Nous espérons que la méthodologie que nous proposons s'avérera utile dans le développement ultérieur de modèles de base polyvalents pour les EDP.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.