PIG: Physikinformierte Gaußsche als adaptive parametrische Gitterrepräsentationen

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Autoren: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Zusammenfassung

Die Approximation von Partiellen Differentialgleichungen (PDEs) mithilfe neuronaler Netzwerke hat bedeutende Fortschritte durch Physikinformierte Neuronale Netzwerke (PINNs) erfahren. Trotz ihres einfachen Optimierungsrahmens und der Flexibilität bei der Implementierung verschiedener PDEs leiden PINNs oft unter begrenzter Genauigkeit aufgrund des spektralen Bias von Mehrschichtperzeptronen (MLPs), die Schwierigkeiten haben, hochfrequente und nichtlineare Komponenten effektiv zu erlernen. Kürzlich wurden parametrische Gitterdarstellungen in Kombination mit neuronalen Netzwerken als vielversprechender Ansatz untersucht, um die induktiven Voreingenommenheiten von neuronalen Netzwerken zu eliminieren. Sie erfordern jedoch in der Regel Gitter mit sehr hoher Auflösung und eine große Anzahl von Kollokationspunkten, um hohe Genauigkeit zu erreichen und Überanpassungsprobleme zu vermeiden. Darüber hinaus beschränken die festen Positionen der Gitterparameter ihre Flexibilität, was es schwierig macht, komplexe PDEs genau zu approximieren. Um diese Einschränkungen zu überwinden, schlagen wir Physikinformierte Gaussians (PIGs) vor, die Merkmalseinbettungen mit Gauß-Funktionen und einem leichtgewichtigen neuronalen Netzwerk kombinieren. Unser Ansatz verwendet trainierbare Parameter für den Mittelwert und die Varianz jedes Gaußschen, was eine dynamische Anpassung ihrer Positionen und Formen während des Trainings ermöglicht. Diese Anpassungsfähigkeit ermöglicht es unserem Modell, PDE-Lösungen optimal zu approximieren, im Gegensatz zu Modellen mit festen Parameterpositionen. Darüber hinaus behält der vorgeschlagene Ansatz den gleichen Optimierungsrahmen bei, der in PINNs verwendet wird, was es uns ermöglicht, von ihren ausgezeichneten Eigenschaften zu profitieren. Experimentelle Ergebnisse zeigen die wettbewerbsfähige Leistung unseres Modells bei verschiedenen PDEs und demonstrieren sein Potenzial als robustes Werkzeug zur Lösung komplexer PDEs. Unsere Projektseite ist unter https://namgyukang.github.io/Physics-Informed-Gaussians/ verfügbar.

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/