Apprendimento Auto-Supervisionato con Simmetrie di Lie per Equazioni alle Derivate Parziali

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Autori: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Abstract

L'apprendimento automatico per le equazioni differenziali apre la strada a alternative computazionalmente efficienti ai risolutori numerici, con potenziali impatti significativi in ambito scientifico e ingegneristico. Sebbene gli algoritmi attuali richiedano tipicamente dati di addestramento simulati specifici per un determinato contesto, si potrebbe invece desiderare di apprendere informazioni utili da fonti eterogenee o da osservazioni di sistemi dinamici reali che sono disordinate o incomplete. In questo lavoro, apprendiamo rappresentazioni generiche di PDE da dati eterogenei implementando metodi di embedding congiunto per l'apprendimento auto-supervisionato (SSL), un framework per l'apprendimento di rappresentazioni non supervisionato che ha ottenuto notevoli successi nel campo della visione artificiale. La nostra rappresentazione supera approcci di base per compiti invarianti, come la regressione dei coefficienti di una PDE, migliorando anche le prestazioni di time-stepping dei risolutori neurali. Speriamo che la metodologia proposta si riveli utile nello sviluppo futuro di modelli di fondazione generici per le PDE.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.