WeatherBench 2 : Un référentiel pour la nouvelle génération de modèles météorologiques globaux basés sur les données
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Auteurs: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Résumé
WeatherBench 2 est une mise à jour du benchmark mondial de prévision météorologique à moyen terme (1 à 14 jours) proposé par Rasp et al. (2020), conçu dans le but d’accélérer les progrès dans la modélisation météorologique basée sur les données. WeatherBench 2 comprend un cadre d’évaluation open-source, des données d’entraînement, des données de référence et des données de base accessibles au public, ainsi qu’un site web continuellement mis à jour avec les dernières métriques et les modèles de pointe : https://sites.research.google/weatherbench. Cet article décrit les principes de conception du cadre d’évaluation et présente les résultats des modèles météorologiques physiques et basés sur les données les plus récents. Les métriques sont basées sur les pratiques établies pour l’évaluation des prévisions météorologiques dans les principaux centres opérationnels de météorologie. Nous définissons un ensemble de scores principaux pour fournir une vue d’ensemble de la performance des modèles. En outre, nous discutons également des limites de la configuration actuelle de l’évaluation et des défis pour l’avenir de la prévision météorologique basée sur les données.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.