リー対称性を用いた偏微分方程式のための自己教師あり学習

要旨

微分方程式のための機械学習は、数値解法に対する計算効率の良い代替手段を切り開き、科学と工学において広範な影響をもたらす可能性があります。現在のアルゴリズムは通常、特定の設定に合わせたシミュレーションデータを必要としますが、代わりに、異種の情報源から有用な情報を学習したり、不完全で雑多な実世界の動的システム観測データから学習したりすることが望まれる場合があります。本研究では、自己教師あり学習（SSL）のためのジョイント埋め込み手法を実装することで、異種データから偏微分方程式（PDE）の汎用的な表現を学習します。SSLは、コンピュータビジョン分野で顕著な成功を収めている教師なし表現学習のフレームワークです。私たちの表現は、PDEの係数を回帰するといった不変タスクにおいてベースラインアプローチを上回るだけでなく、ニューラルソルバーのタイムステッピング性能も向上させます。私たちの提案する方法論が、PDEのための汎用基盤モデルの開発に役立つことを期待しています。

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.

リー対称性を用いた偏微分方程式のための自己教師あり学習

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

要旨

Support