Aprendizaje Autosupervisado con Simetrías de Lie para Ecuaciones Diferenciales Parciales

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

July 11, 2023

Autores: Grégoire Mialon, Quentin Garrido, Hannah Lawrence, Danyal Rehman, Yann LeCun, Bobak T. Kiani

cs.AI

Resumen

El aprendizaje automático para ecuaciones diferenciales abre el camino hacia alternativas computacionalmente eficientes a los solucionadores numéricos, con impactos potencialmente amplios en la ciencia y la ingeniería. Aunque los algoritmos actuales suelen requerir datos de entrenamiento simulados adaptados a un escenario específico, también podría ser deseable aprender información útil a partir de fuentes heterogéneas o de observaciones de sistemas dinámicos reales que sean desordenadas o incompletas. En este trabajo, aprendemos representaciones de propósito general de EDPs (ecuaciones en derivadas parciales) a partir de datos heterogéneos mediante la implementación de métodos de incrustación conjunta para el aprendizaje autosupervisado (SSL, por sus siglas en inglés), un marco para el aprendizaje de representaciones no supervisado que ha tenido un éxito notable en visión por computadora. Nuestra representación supera a los enfoques de referencia en tareas invariantes, como la regresión de los coeficientes de una EDP, mientras que también mejora el rendimiento en la integración temporal de solucionadores neuronales. Esperamos que la metodología propuesta resulte útil en el desarrollo futuro de modelos base de propósito general para EDPs.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.