PIG: Физически обоснованные гауссовы функции как адаптивные параметрические сеточные представления

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Авторы: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Аннотация

Аппроксимация уравнений частных производных (УЧП) с использованием нейронных сетей заметно продвинулась благодаря физически информированным нейронным сетям (PINNs). Несмотря на их простую оптимизационную структуру и гибкость в реализации различных УЧП, PINNs часто страдают от ограниченной точности из-за спектрального смещения многослойных перцептронов (MLPs), которые испытывают затруднения в эффективном изучении высокочастотных и нелинейных компонентов. Недавно параметрические сетки в сочетании с нейронными сетями были исследованы как многообещающий подход для устранения индуктивных смещений нейронных сетей. Однако обычно для достижения высокой точности и избежания проблем переобучения требуются сетки с очень высоким разрешением и большое количество точек коллокации. Кроме того, фиксированные позиции параметров сетки ограничивают их гибкость, что затрудняет точную аппроксимацию сложных УЧП. Для преодоления этих ограничений мы предлагаем физически информированные гауссианы (PIGs), которые объединяют вложения признаков с использованием гауссовых функций с легкой нейронной сетью. Наш подход использует обучаемые параметры для среднего и дисперсии каждой гауссианы, что позволяет динамически настраивать их позиции и формы во время обучения. Эта адаптивность позволяет нашей модели оптимально аппроксимировать решения УЧП, в отличие от моделей с фиксированными позициями параметров. Более того, предложенный подход сохраняет ту же оптимизационную структуру, используемую в PINNs, что позволяет нам воспользоваться их отличными свойствами. Экспериментальные результаты показывают конкурентоспособную производительность нашей модели на различных УЧП, демонстрируя ее потенциал как надежного инструмента для решения сложных УЧП. Наша страница проекта доступна по адресу https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/