WeatherBench 2: Un benchmark per la prossima generazione di modelli meteorologici globali basati sui dati
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Autori: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Abstract
WeatherBench 2 è un aggiornamento del benchmark globale per le previsioni meteorologiche a medio termine (1-14 giorni) proposto da Rasp et al. (2020), progettato con l'obiettivo di accelerare i progressi nella modellazione meteorologica basata sui dati. WeatherBench 2 comprende un framework di valutazione open-source, dati di addestramento, verità di base e dati di riferimento pubblicamente disponibili, nonché un sito web costantemente aggiornato con le ultime metriche e i modelli all'avanguardia: https://sites.research.google/weatherbench. Questo articolo descrive i principi di progettazione del framework di valutazione e presenta i risultati per i modelli meteorologici fisici e basati sui dati attualmente all'avanguardia. Le metriche si basano su pratiche consolidate per la valutazione delle previsioni meteorologiche presso i principali centri operativi meteorologici. Definiamo un insieme di punteggi principali per fornire una panoramica delle prestazioni del modello. Inoltre, discutiamo anche le limitazioni nell'attuale configurazione di valutazione e le sfide per il futuro delle previsioni meteorologiche basate sui dati.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.