Selbstüberwachtes Lernen mit Lie-Symmetrien für Partielle Differentialgleichungen

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Autoren: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Zusammenfassung

Maschinelles Lernen für Differentialgleichungen ebnet den Weg für recheneffiziente Alternativen zu numerischen Lösern, mit potenziell weitreichenden Auswirkungen in Wissenschaft und Technik. Obwohl aktuelle Algorithmen typischerweise simulierte Trainingsdaten erfordern, die auf eine bestimmte Anwendung zugeschnitten sind, könnte man stattdessen nützliche Informationen aus heterogenen Quellen oder aus realen Beobachtungen dynamischer Systeme lernen, die unvollständig oder unstrukturiert sind. In dieser Arbeit lernen wir allgemeingültige Darstellungen von partiellen Differentialgleichungen (PDEs) aus heterogenen Daten, indem wir gemeinsame Einbettungsmethoden für selbstüberwachtes Lernen (SSL) implementieren – ein Rahmenwerk für unüberwachtes Repräsentationslernen, das in der Computer Vision beachtliche Erfolge erzielt hat. Unsere Darstellung übertrifft Baseline-Ansätze bei invarianten Aufgaben, wie der Regression der Koeffizienten einer PDE, und verbessert gleichzeitig die Zeitschrittleistung neuronaler Löser. Wir hoffen, dass unsere vorgeschlagene Methodik nützlich für die zukünftige Entwicklung allgemeingültiger Foundation-Modelle für PDEs sein wird.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.