PIG : Gaussiennes Informées par la Physique comme Maillages Paramétriques Adaptatifs

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Auteurs: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Résumé

L'approximation des Équations aux Dérivées Partielles (EDP) à l'aide de réseaux neuronaux a connu des avancées significatives grâce aux Réseaux Neuronaux Informés par la Physique (PINNs). Malgré leur cadre d'optimisation simple et leur flexibilité pour implémenter diverses EDP, les PINNs souffrent souvent d'une précision limitée en raison du biais spectral des Perceptrons Multi-Couches (MLPs), qui ont du mal à apprendre efficacement les composantes haute fréquence et non linéaires. Récemment, les représentations de maillage paramétrique combinées avec des réseaux neuronaux ont été étudiées comme une approche prometteuse pour éliminer les biais inductifs des réseaux neuronaux. Cependant, elles nécessitent généralement des grilles de très haute résolution et un grand nombre de points de collocation pour atteindre une grande précision tout en évitant les problèmes de surajustement. De plus, les positions fixes des paramètres de maillage limitent leur flexibilité, rendant difficile l'approximation précise d'EDP complexes. Pour surmonter ces limitations, nous proposons les Gaussiennes Informées par la Physique (PIGs), qui combinent des plongements de caractéristiques en utilisant des fonctions gaussiennes avec un réseau neuronal léger. Notre approche utilise des paramètres entraînables pour la moyenne et la variance de chaque gaussienne, permettant un ajustement dynamique de leurs positions et formes pendant l'entraînement. Cette adaptabilité permet à notre modèle d'approximer de manière optimale les solutions d'EDP, contrairement aux modèles avec des positions de paramètres fixes. De plus, l'approche proposée maintient le même cadre d'optimisation utilisé dans les PINNs, nous permettant de bénéficier de leurs excellentes propriétés. Les résultats expérimentaux montrent les performances compétitives de notre modèle sur diverses EDP, démontrant son potentiel en tant qu'outil robuste pour résoudre des EDP complexes. Notre page de projet est disponible sur https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/