Aprendizado Autossupervisionado com Simetrias de Lie para Equações Diferenciais Parciais

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Autores: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Resumo

O aprendizado de máquina para equações diferenciais abre caminho para alternativas computacionalmente eficientes aos solucionadores numéricos, com impactos potencialmente amplos na ciência e engenharia. Embora os algoritmos atuais geralmente exijam dados de treinamento simulados adaptados a um cenário específico, pode-se desejar aprender informações úteis a partir de fontes heterogêneas ou de observações de sistemas dinâmicos reais que são confusas ou incompletas. Neste trabalho, aprendemos representações de propósito geral de EDPs a partir de dados heterogêneos, implementando métodos de incorporação conjunta para aprendizado auto-supervisionado (SSL), um framework para aprendizado de representação não supervisionado que obteve sucesso notável em visão computacional. Nossa representação supera abordagens baselines para tarefas invariantes, como a regressão dos coeficientes de uma EDP, ao mesmo tempo em que melhora o desempenho de solucionadores neurais em passos de tempo. Esperamos que a metodologia proposta seja útil no desenvolvimento futuro de modelos de base de propósito geral para EDPs.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.