PIG: Fysisch-geïnformeerde Gaussians als Adaptieve Parametrische Meshrepresentaties

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Auteurs: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Samenvatting

De benadering van Partiële Differentiaalvergelijkingen (PDE's) met behulp van neurale netwerken heeft aanzienlijke vooruitgang geboekt door middel van Fysisch-Geïnformeerde Neurale Netwerken (PINNs). Ondanks hun eenvoudige optimalisatiekader en flexibiliteit bij het implementeren van verschillende PDE's, hebben PINNs vaak te lijden onder beperkte nauwkeurigheid als gevolg van de spectrale bias van Multi-Layer Perceptrons (MLP's), die moeite hebben om hoogfrequente en niet-lineaire componenten effectief te leren. Onlangs zijn parametrische maasrepresentaties in combinatie met neurale netwerken onderzocht als een veelbelovende aanpak om de inductieve biases van neurale netwerken te elimineren. Ze vereisen echter meestal zeer hoge-resolutie roosters en een groot aantal collocatiepunten om een hoge nauwkeurigheid te bereiken en overpassing te vermijden. Bovendien beperken de vaste posities van de maasparameters hun flexibiliteit, waardoor het uitdagend is om complexe PDE's nauwkeurig te benaderen. Om deze beperkingen te overwinnen, stellen wij Fysisch-Geïnformeerde Gaussians (PIGs) voor, die kenmerk-embeddings combineren met Gauss-functies met behulp van een lichtgewicht neuraal netwerk. Onze benadering maakt gebruik van trainbare parameters voor het gemiddelde en de variantie van elke Gauss, waardoor dynamische aanpassing van hun posities en vormen tijdens de training mogelijk is. Deze aanpasbaarheid stelt ons model in staat om PDE-oplossingen optimaal te benaderen, in tegenstelling tot modellen met vaste parameterposities. Bovendien behoudt de voorgestelde benadering hetzelfde optimalisatiekader dat wordt gebruikt in PINNs, waardoor we kunnen profiteren van hun uitstekende eigenschappen. Experimentele resultaten tonen de competitieve prestaties van ons model bij verschillende PDE's, wat de potentie ervan als een robuust hulpmiddel voor het oplossen van complexe PDE's aantoont. Onze projectpagina is beschikbaar op https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/