WeatherBench 2: Een benchmark voor de volgende generatie data-gedreven wereldwijde weermodellen
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Auteurs: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Samenvatting
WeatherBench 2 is een update van het wereldwijde, middellange-termijn (1-14 dagen) weersvoorspellingsbenchmark voorgesteld door Rasp et al. (2020), ontworpen met als doel de vooruitgang in data-gedreven weermodellering te versnellen. WeatherBench 2 bestaat uit een open-source evaluatieraamwerk, publiek beschikbare trainings-, grondwaarheids- en basislijngegevens, evenals een continu bijgewerkte website met de nieuwste metrieken en state-of-the-art modellen: https://sites.research.google/weatherbench. Dit artikel beschrijft de ontwerp principes van het evaluatieraamwerk en presenteert resultaten voor huidige state-of-the-art fysische en data-gedreven weermodellen. De metrieken zijn gebaseerd op gevestigde praktijken voor het evalueren van weersvoorspellingen bij toonaangevende operationele weerscentra. We definiëren een set hoofdscores om een overzicht te geven van de modelprestaties. Daarnaast bespreken we ook de beperkingen in de huidige evaluatieopzet en uitdagingen voor de toekomst van data-gedreven weersvoorspelling.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.