PIG: Gaussianas Informadas pela Física como Representações de Malha Paramétrica Adaptativa

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Autores: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Resumo

A aproximação de Equações Diferenciais Parciais (EDPs) usando redes neurais tem visto avanços significativos por meio das Redes Neurais Informadas por Física (PINNs). Apesar da estrutura de otimização direta e da flexibilidade na implementação de várias EDPs, as PINNs frequentemente sofrem com precisão limitada devido ao viés espectral das Redes de Perceptrons de Múltiplas Camadas (MLPs), que têm dificuldade em aprender efetivamente componentes de alta frequência e não lineares. Recentemente, representações paramétricas de malha em combinação com redes neurais têm sido investigadas como uma abordagem promissora para eliminar os viés indutivos das redes neurais. No entanto, geralmente exigem grades de alta resolução e um grande número de pontos de colocalização para alcançar alta precisão, evitando problemas de sobreajuste. Além disso, as posições fixas dos parâmetros da malha restringem sua flexibilidade, tornando desafiador aproximar com precisão EDPs complexas. Para superar essas limitações, propomos Gaussianas Informadas por Física (PIGs), que combinam incorporações de recursos usando funções gaussianas com uma rede neural leve. Nossa abordagem usa parâmetros treináveis para a média e variância de cada gaussiana, permitindo o ajuste dinâmico de suas posições e formas durante o treinamento. Essa adaptabilidade permite que nosso modelo aproxime de forma ótima soluções de EDP, ao contrário de modelos com posições de parâmetros fixas. Além disso, a abordagem proposta mantém a mesma estrutura de otimização usada nas PINNs, permitindo que aproveitemos suas excelentes propriedades. Resultados experimentais mostram o desempenho competitivo de nosso modelo em várias EDPs, demonstrando seu potencial como uma ferramenta robusta para resolver EDPs complexas. Nossa página do projeto está disponível em https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/