WeatherBench 2: Un punto de referencia para la próxima generación de modelos globales de pronóstico del tiempo basados en datos
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Autores: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Resumen
WeatherBench 2 es una actualización del punto de referencia para la predicción meteorológica global a medio plazo (1-14 días) propuesto por Rasp et al. (2020), diseñado con el objetivo de acelerar el progreso en los modelos meteorológicos basados en datos. WeatherBench 2 consta de un marco de evaluación de código abierto, datos de entrenamiento, datos de referencia y datos de línea base disponibles públicamente, así como un sitio web actualizado continuamente con las últimas métricas y modelos de vanguardia: https://sites.research.google/weatherbench. Este artículo describe los principios de diseño del marco de evaluación y presenta resultados para los modelos meteorológicos físicos y basados en datos más avanzados actualmente. Las métricas se basan en prácticas establecidas para evaluar pronósticos meteorológicos en los principales centros operativos de meteorología. Definimos un conjunto de puntuaciones principales para proporcionar una visión general del rendimiento de los modelos. Además, también discutimos advertencias en la configuración actual de evaluación y los desafíos para el futuro de la predicción meteorológica basada en datos.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.