Zebra: Kontextuelles und generatives Pretraining zur Lösung parametrischer partieller Differentialgleichungen

Zebra: In-Context and Generative Pretraining for Solving Parametric PDEs

October 4, 2024

Autoren: Louis Serrano, Armand Kassaï Koupaï, Thomas X Wang, Pierre Erbacher, Patrick Gallinari

cs.AI

Zusammenfassung

Die Lösung zeitabhängiger parametrischer partieller Differentialgleichungen (PDEs) ist eine Herausforderung, da Modelle sich an Variationen in Parametern wie Koeffizienten, erzwungene Terme und Randbedingungen anpassen müssen. Datengetriebene neuronale Solver trainieren entweder auf Daten, die aus der Verteilung der PDE-Parameter entnommen wurden, in der Hoffnung, dass das Modell auf neue Instanzen verallgemeinert, oder verlassen sich auf gradientenbasierte Anpassung und Meta-Learning, um die Dynamik aus Beobachtungen implizit zu codieren. Dies geht oft mit einer erhöhten Inferenzkomplexität einher. Inspiriert von den Fähigkeiten des kontextbezogenen Lernens großer Sprachmodelle (LLMs) stellen wir Zebra vor, einen neuartigen generativen autoregressiven Transformer, der entwickelt wurde, um parametrische PDEs zu lösen, ohne dass bei der Inferenz eine Gradientenanpassung erforderlich ist. Durch die Nutzung von kontextbezogenen Informationen sowohl während des Pre-Trainings als auch der Inferenz passt sich Zebra dynamisch an neue Aufgaben an, indem es auf Eingabesequenzen konditioniert, die Kontexttrajektorien oder vorhergehende Zustände einbeziehen. Dieser Ansatz ermöglicht es Zebra, flexibel mit beliebig großen Kontexteingaben umzugehen und die Unsicherheit durch das Samplen mehrerer Lösungstrajektorien zu quantifizieren. Wir evaluieren Zebra in verschiedenen anspruchsvollen PDE-Szenarien und zeigen seine Anpassungsfähigkeit, Robustheit und überlegene Leistung im Vergleich zu bestehenden Ansätzen.

English

Solving time-dependent parametric partial differential equations (PDEs) is challenging, as models must adapt to variations in parameters such as coefficients, forcing terms, and boundary conditions. Data-driven neural solvers either train on data sampled from the PDE parameters distribution in the hope that the model generalizes to new instances or rely on gradient-based adaptation and meta-learning to implicitly encode the dynamics from observations. This often comes with increased inference complexity. Inspired by the in-context learning capabilities of large language models (LLMs), we introduce Zebra, a novel generative auto-regressive transformer designed to solve parametric PDEs without requiring gradient adaptation at inference. By leveraging in-context information during both pre-training and inference, Zebra dynamically adapts to new tasks by conditioning on input sequences that incorporate context trajectories or preceding states. This approach enables Zebra to flexibly handle arbitrarily sized context inputs and supports uncertainty quantification through the sampling of multiple solution trajectories. We evaluate Zebra across a variety of challenging PDE scenarios, demonstrating its adaptability, robustness, and superior performance compared to existing approaches.