Prithvi WxC: Fundamenteel Model voor Weer en Klimaat

Prithvi WxC: Foundation Model for Weather and Climate

September 20, 2024

Auteurs: Johannes Schmude, Sujit Roy, Will Trojak, Johannes Jakubik, Daniel Salles Civitarese, Shraddha Singh, Julian Kuehnert, Kumar Ankur, Aman Gupta, Christopher E Phillips, Romeo Kienzler, Daniela Szwarcman, Vishal Gaur, Rajat Shinde, Rohit Lal, Arlindo Da Silva, Jorge Luis Guevara Diaz, Anne Jones, Simon Pfreundschuh, Amy Lin, Aditi Sheshadri, Udaysankar Nair, Valentine Anantharaj, Hendrik Hamann, Campbell Watson, Manil Maskey, Tsengdar J Lee, Juan Bernabe Moreno, Rahul Ramachandran

cs.AI

Samenvatting

Opgewekt door het besef dat AI-emulatoren de prestaties van traditionele numerieke weersvoorspellingsmodellen op HPC-systemen kunnen evenaren, is er nu een toenemend aantal grote AI-modellen die gebruiksscenario's zoals voorspellingen, downsizing of nuvoorspellingen aanpakken. Terwijl de parallelle ontwikkelingen in de AI-literatuur zich richten op basismodellen - modellen die effectief kunnen worden afgestemd om meerdere, verschillende gebruiksscenario's aan te pakken - richten de ontwikkelingen aan de weer- en klimaatkant zich grotendeels op enkelvoudige gebruiksscenario's met bijzondere nadruk op middellange termijn voorspellingen. We dichten deze kloof door Prithvi WxC te introduceren, een 2,3 miljard parameters tellend basismodel ontwikkeld met behulp van 160 variabelen uit de Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2). Prithvi WxC maakt gebruik van een encoder-decoder-gebaseerde architectuur, waarbij concepten uit verschillende recente transformermodellen effectief worden toegepast om zowel regionale als mondiale afhankelijkheden in de invoergegevens vast te leggen. Het model is ontworpen om grote tokenaantallen te kunnen verwerken om weersverschijnselen in verschillende topologieën op fijne resoluties te modelleren. Bovendien wordt het getraind met een gemengd doel dat de paradigma's van gemaskeerde reconstructie combineert met voorspellingen. We testen het model op een reeks uitdagende downstreamtaken, namelijk: Autoregressieve uitrolvoorspelling, Downsizing, Parameterisatie van zwaartekrachtgolfflux en Schatting van extreme gebeurtenissen. Het voorgeleerde model met 2,3 miljard parameters, samen met de bijbehorende fijnafstemmingsworkflows, is openbaar vrijgegeven als een open-source bijdrage via Hugging Face.

English

Triggered by the realization that AI emulators can rival the performance of traditional numerical weather prediction models running on HPC systems, there is now an increasing number of large AI models that address use cases such as forecasting, downscaling, or nowcasting. While the parallel developments in the AI literature focus on foundation models -- models that can be effectively tuned to address multiple, different use cases -- the developments on the weather and climate side largely focus on single-use cases with particular emphasis on mid-range forecasting. We close this gap by introducing Prithvi WxC, a 2.3 billion parameter foundation model developed using 160 variables from the Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2). Prithvi WxC employs an encoder-decoder-based architecture, incorporating concepts from various recent transformer models to effectively capture both regional and global dependencies in the input data. The model has been designed to accommodate large token counts to model weather phenomena in different topologies at fine resolutions. Furthermore, it is trained with a mixed objective that combines the paradigms of masked reconstruction with forecasting. We test the model on a set of challenging downstream tasks namely: Autoregressive rollout forecasting, Downscaling, Gravity wave flux parameterization, and Extreme events estimation. The pretrained model with 2.3 billion parameters, along with the associated fine-tuning workflows, has been publicly released as an open-source contribution via Hugging Face.