Zelfsupervisie Leren met Lie-symmetrieën voor Partiële Differentiaalvergelijkingen

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Auteurs: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Samenvatting

Machine learning voor differentiaalvergelijkingen opent de weg naar computationeel efficiënte alternatieven voor numerieke oplossers, met potentieel brede impact in wetenschap en techniek. Hoewel huidige algoritmen doorgaans gesimuleerde trainingsgegevens vereisen die zijn afgestemd op een specifieke setting, kan men ook nuttige informatie willen leren uit heterogene bronnen, of uit observaties van echte dynamische systemen die rommelig of incompleet zijn. In dit werk leren we algemene representaties van partiële differentiaalvergelijkingen (PDE's) uit heterogene gegevens door gezamenlijke inbeddingsmethoden te implementeren voor zelfgesuperviseerd leren (SSL), een raamwerk voor ongesuperviseerd representatieleren dat opmerkelijke successen heeft geboekt in computervisie. Onze representatie overtreft baseline-benaderingen voor invariante taken, zoals het regresseren van de coëfficiënten van een PDE, terwijl het ook de tijdstap-prestaties van neurale oplossers verbetert. We hopen dat onze voorgestelde methodologie nuttig zal blijken bij de uiteindelijke ontwikkeling van algemene foundation-modellen voor PDE's.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.