Zebra: In-Context en Generatieve Pretraining voor het Oplossen van Parametrische PDE's

Zebra: In-Context and Generative Pretraining for Solving Parametric PDEs

October 4, 2024

Auteurs: Louis Serrano, Armand Kassaï Koupaï, Thomas X Wang, Pierre Erbacher, Patrick Gallinari

cs.AI

Samenvatting

Het oplossen van tijdafhankelijke parametrische partiële differentiaalvergelijkingen (PDV's) is uitdagend, aangezien modellen zich moeten aanpassen aan variaties in parameters zoals coëfficiënten, dwingende termen en randvoorwaarden. Op data gebaseerde neurale oplossers trainen ofwel op gegevens die zijn bemonsterd uit de verdeling van de PDV-parameters in de hoop dat het model generaliseert naar nieuwe instanties, of vertrouwen op op gradienten gebaseerde aanpassing en meta-leren om de dynamiek van observaties impliciet te coderen. Dit gaat vaak gepaard met een verhoogde inferentiecomplexiteit. Geïnspireerd door de leermogelijkheden in context van grote taalmodellen (LLM's), introduceren we Zebra, een nieuwe generatieve auto-regressieve transformer die is ontworpen om parametrische PDV's op te lossen zonder dat er bij inferentie gradientaanpassing nodig is. Door gebruik te maken van in-context informatie tijdens zowel pre-training als inferentie, past Zebra zich dynamisch aan nieuwe taken aan door te conditioneren op invoersequenties die contexttrajecten of voorafgaande toestanden bevatten. Deze benadering stelt Zebra in staat om flexibel om te gaan met contextinvoer van willekeurige omvang en ondersteunt onzekerheidskwantificatie door het monsteren van meerdere oplossingstrajecten. We evalueren Zebra in verschillende uitdagende PDV-scenario's en tonen zijn aanpasbaarheid, robuustheid en superieure prestaties in vergelijking met bestaande benaderingen.

English

Solving time-dependent parametric partial differential equations (PDEs) is challenging, as models must adapt to variations in parameters such as coefficients, forcing terms, and boundary conditions. Data-driven neural solvers either train on data sampled from the PDE parameters distribution in the hope that the model generalizes to new instances or rely on gradient-based adaptation and meta-learning to implicitly encode the dynamics from observations. This often comes with increased inference complexity. Inspired by the in-context learning capabilities of large language models (LLMs), we introduce Zebra, a novel generative auto-regressive transformer designed to solve parametric PDEs without requiring gradient adaptation at inference. By leveraging in-context information during both pre-training and inference, Zebra dynamically adapts to new tasks by conditioning on input sequences that incorporate context trajectories or preceding states. This approach enables Zebra to flexibly handle arbitrarily sized context inputs and supports uncertainty quantification through the sampling of multiple solution trajectories. We evaluate Zebra across a variety of challenging PDE scenarios, demonstrating its adaptability, robustness, and superior performance compared to existing approaches.