SEEDS: Emulatie van Weersvoorspellingsensembles met Diffusiemodellen

SEEDS: Emulation of Weather Forecast Ensembles with Diffusion Models

June 24, 2023

Auteurs: Lizao Li, Rob Carver, Ignacio Lopez-Gomez, Fei Sha, John Anderson

cs.AI

Samenvatting

Probabilistische voorspellingen zijn cruciaal voor besluitvorming onder onzekerheid over toekomstig weer. De dominante aanpak is het gebruik van een ensemble van voorspellingen om onzekerheid in operationele numerieke weersvoorspellingen te representeren en te kwantificeren. Het genereren van ensembles is echter computationeel kostbaar. In dit artikel stellen we voor om ensemblevoorspellingen op grote schaal te genereren door gebruik te maken van recente vooruitgang in generatieve kunstmatige intelligentie. Onze aanpak leert een data-gedreven probabilistisch diffusiemodel aan op basis van de 5-ledige ensemble GEFS hervoorspellingsdataset. Het model kan vervolgens efficiënt worden bemonsterd om realistische weersvoorspellingen te produceren, geconditioneerd op enkele leden van het operationele GEFS voorspellingssysteem. De gegenereerde ensembles vertonen vergelijkbare voorspellende kwaliteit als het volledige 31-ledige GEFS ensemble, geëvalueerd tegen ERA5 heranalyse, en bootsen de statistieken van grote op fysica gebaseerde ensembles goed na. We passen dezelfde methodologie ook toe om een diffusiemodel te ontwikkelen voor generatieve nabewerking: het model leert direct om biases in het geëmuleerde voorspellingssysteem te corrigeren door gebruik te maken van heranalysedata als labels tijdens de training. Ensembles van dit generatieve nabewerkingsmodel tonen een grotere betrouwbaarheid en nauwkeurigheid, met name in de classificatie van extreme gebeurtenissen. Over het algemeen zijn ze betrouwbaarder en voorspellen ze de kans op extreem weer nauwkeuriger dan het operationele GEFS ensemble. Onze modellen bereiken deze resultaten tegen minder dan 1/10e van de computationele kosten van het operationele GEFS-systeem.

English

Probabilistic forecasting is crucial to decision-making under uncertainty about future weather. The dominant approach is to use an ensemble of forecasts to represent and quantify uncertainty in operational numerical weather prediction. However, generating ensembles is computationally costly. In this paper, we propose to generate ensemble forecasts at scale by leveraging recent advances in generative artificial intelligence. Our approach learns a data-driven probabilistic diffusion model from the 5-member ensemble GEFS reforecast dataset. The model can then be sampled efficiently to produce realistic weather forecasts, conditioned on a few members of the operational GEFS forecasting system. The generated ensembles have similar predictive skill as the full GEFS 31-member ensemble, evaluated against ERA5 reanalysis, and emulate well the statistics of large physics-based ensembles. We also apply the same methodology to developing a diffusion model for generative post-processing: the model directly learns to correct biases present in the emulated forecasting system by leveraging reanalysis data as labels during training. Ensembles from this generative post-processing model show greater reliability and accuracy, particularly in extreme event classification. In general, they are more reliable and forecast the probability of extreme weather more accurately than the GEFS operational ensemble. Our models achieve these results at less than 1/10th of the computational cost incurred by the operational GEFS system.