Prithvi WxC: Grundmodell für Wetter und Klima

Prithvi WxC: Foundation Model for Weather and Climate

September 20, 2024

Autoren: Johannes Schmude, Sujit Roy, Will Trojak, Johannes Jakubik, Daniel Salles Civitarese, Shraddha Singh, Julian Kuehnert, Kumar Ankur, Aman Gupta, Christopher E Phillips, Romeo Kienzler, Daniela Szwarcman, Vishal Gaur, Rajat Shinde, Rohit Lal, Arlindo Da Silva, Jorge Luis Guevara Diaz, Anne Jones, Simon Pfreundschuh, Amy Lin, Aditi Sheshadri, Udaysankar Nair, Valentine Anantharaj, Hendrik Hamann, Campbell Watson, Manil Maskey, Tsengdar J Lee, Juan Bernabe Moreno, Rahul Ramachandran

cs.AI

Zusammenfassung

Angestoßen durch die Erkenntnis, dass KI-Emulatoren die Leistung traditioneller numerischer Wettervorhersagemodelle auf HPC-Systemen erreichen können, gibt es nun eine zunehmende Anzahl großer KI-Modelle, die Anwendungsfälle wie Vorhersagen, Downscaling oder Nowcasting behandeln. Während sich die parallelen Entwicklungen in der KI-Literatur auf Grundlagenmodelle konzentrieren - Modelle, die effektiv angepasst werden können, um mehrere verschiedene Anwendungsfälle anzugehen - konzentrieren sich die Entwicklungen auf der Wetter- und Klimaseite größtenteils auf Einzelanwendungsfälle mit besonderem Schwerpunkt auf mittelfristigen Vorhersagen. Wir schließen diese Lücke, indem wir Prithvi WxC vorstellen, ein 2,3 Milliarden Parameter umfassendes Grundlagenmodell, das unter Verwendung von 160 Variablen aus der Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2) entwickelt wurde. Prithvi WxC verwendet eine Encoder-Decoder-Architektur, die Konzepte aus verschiedenen aktuellen Transformer-Modellen integriert, um sowohl regionale als auch globale Abhängigkeiten in den Eingabedaten effektiv zu erfassen. Das Modell wurde so konzipiert, dass es große Token-Zahlen aufnehmen kann, um Wetterphänomene in verschiedenen Topologien bei feinen Auflösungen zu modellieren. Darüber hinaus wird es mit einem gemischten Ziel trainiert, das die Paradigmen der maskierten Rekonstruktion mit Vorhersagen kombiniert. Wir testen das Modell an einer Reihe anspruchsvoller nachgelagerter Aufgaben, nämlich: Autoregressive Rollout-Vorhersage, Downscaling, Parameterisierung von Schwerewellenflüssen und Schätzung extremer Ereignisse. Das vorab trainierte Modell mit 2,3 Milliarden Parametern sowie die zugehörigen Feinabstimmungs-Workflows wurden als Open-Source-Beitrag über Hugging Face öffentlich freigegeben.

English

Triggered by the realization that AI emulators can rival the performance of traditional numerical weather prediction models running on HPC systems, there is now an increasing number of large AI models that address use cases such as forecasting, downscaling, or nowcasting. While the parallel developments in the AI literature focus on foundation models -- models that can be effectively tuned to address multiple, different use cases -- the developments on the weather and climate side largely focus on single-use cases with particular emphasis on mid-range forecasting. We close this gap by introducing Prithvi WxC, a 2.3 billion parameter foundation model developed using 160 variables from the Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2). Prithvi WxC employs an encoder-decoder-based architecture, incorporating concepts from various recent transformer models to effectively capture both regional and global dependencies in the input data. The model has been designed to accommodate large token counts to model weather phenomena in different topologies at fine resolutions. Furthermore, it is trained with a mixed objective that combines the paradigms of masked reconstruction with forecasting. We test the model on a set of challenging downstream tasks namely: Autoregressive rollout forecasting, Downscaling, Gravity wave flux parameterization, and Extreme events estimation. The pretrained model with 2.3 billion parameters, along with the associated fine-tuning workflows, has been publicly released as an open-source contribution via Hugging Face.