리 대칭성을 활용한 자기 지도 학습: 편미분 방정식의 경우

초록

미분 방정식을 위한 기계 학습은 수치 해석기 대신 계산 효율적인 대안을 제시하며, 과학과 공학 분야에 광범위한 영향을 미칠 잠재력을 가지고 있습니다. 현재의 알고리즘은 일반적으로 특정 설정에 맞춰 시뮬레이션된 훈련 데이터를 필요로 하지만, 이와 달리 다양한 출처에서 유용한 정보를 학습하거나, 실제 동적 시스템 관측치에서 지저분하거나 불완전한 데이터를 활용하고자 할 수 있습니다. 본 연구에서는 컴퓨터 비전 분야에서 주목할 만한 성과를 거둔 자기 지도 학습(SSL)을 위한 공동 임베딩 방법을 구현하여, 이질적인 데이터로부터 편미분 방정식(PDE)의 일반적인 표현을 학습합니다. 우리의 표현은 PDE의 계수를 회귀하는 것과 같은 불변 작업에서 기준 접근법을 능가하며, 신경망 해석기의 시간 단계 성능도 개선합니다. 우리는 제안된 방법론이 궁극적으로 PDE를 위한 범용 기반 모델 개발에 유용하게 활용되기를 기대합니다.

English

Machine learning for differential equations paves the way for computationally efficient alternatives to numerical solvers, with potentially broad impacts in science and engineering. Though current algorithms typically require simulated training data tailored to a given setting, one may instead wish to learn useful information from heterogeneous sources, or from real dynamical systems observations that are messy or incomplete. In this work, we learn general-purpose representations of PDEs from heterogeneous data by implementing joint embedding methods for self-supervised learning (SSL), a framework for unsupervised representation learning that has had notable success in computer vision. Our representation outperforms baseline approaches to invariant tasks, such as regressing the coefficients of a PDE, while also improving the time-stepping performance of neural solvers. We hope that our proposed methodology will prove useful in the eventual development of general-purpose foundation models for PDEs.

리 대칭성을 활용한 자기 지도 학습: 편미분 방정식의 경우

Self-Supervised Learning with Lie Symmetries for Partial Differential Equations

초록

Support