PIG: Gaussianas Informadas por Física como Representaciones de Malla Paramétrica Adaptativa

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Autores: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Resumen

La aproximación de Ecuaciones en Derivadas Parciales (EDPs) utilizando redes neuronales ha experimentado avances significativos a través de las Redes Neuronales Informadas por la Física (PINNs, por sus siglas en inglés). A pesar de su marco de optimización sencillo y flexibilidad en la implementación de diversas EDPs, las PINNs a menudo sufren de una precisión limitada debido al sesgo espectral de los Perceptrones Multicapa (MLPs), los cuales tienen dificultades para aprender de manera efectiva componentes no lineales y de alta frecuencia. Recientemente, las representaciones de malla paramétrica en combinación con redes neuronales han sido investigadas como un enfoque prometedor para eliminar los sesgos inductivos de las redes neuronales. Sin embargo, suelen requerir rejillas de alta resolución y un gran número de puntos de colocación para lograr una alta precisión y evitar problemas de sobreajuste. Además, las posiciones fijas de los parámetros de la malla restringen su flexibilidad, lo que dificulta la aproximación precisa de EDPs complejas. Para superar estas limitaciones, proponemos los Gaussianos Informados por la Física (PIGs, por sus siglas en inglés), que combinan incrustaciones de características utilizando funciones gaussianas con una red neuronal ligera. Nuestro enfoque utiliza parámetros entrenables para la media y la varianza de cada gaussiana, lo que permite el ajuste dinámico de sus posiciones y formas durante el entrenamiento. Esta adaptabilidad permite que nuestro modelo aproxime óptimamente las soluciones de EDPs, a diferencia de los modelos con posiciones de parámetros fijos. Además, el enfoque propuesto mantiene el mismo marco de optimización utilizado en las PINNs, lo que nos permite beneficiarnos de sus excelentes propiedades. Los resultados experimentales muestran el rendimiento competitivo de nuestro modelo en diversas EDPs, demostrando su potencial como una herramienta robusta para resolver EDPs complejas. Nuestra página del proyecto está disponible en https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/