WeatherBench 2: Ein Benchmark für die nächste Generation datengetriebener globaler Wettermodelle
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Autoren: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Zusammenfassung
WeatherBench 2 ist eine Aktualisierung des globalen, mittelfristigen (1-14 Tage) Wettervorhersage-Benchmarks, der von Rasp et al. (2020) vorgeschlagen wurde und mit dem Ziel entwickelt wurde, Fortschritte in datengetriebenen Wettermodellen zu beschleunigen. WeatherBench 2 besteht aus einem Open-Source-Evaluierungsframework, öffentlich zugänglichen Trainings-, Grundwahrheits- und Basisdaten sowie einer kontinuierlich aktualisierten Website mit den neuesten Metriken und state-of-the-art Modellen: https://sites.research.google/weatherbench. Dieses Papier beschreibt die Designprinzipien des Evaluierungsframeworks und präsentiert Ergebnisse für aktuelle state-of-the-art physikalische und datengetriebene Wettermodelle. Die Metriken basieren auf etablierten Praktiken zur Bewertung von Wettervorhersagen bei führenden operationellen Wetterzentren. Wir definieren eine Reihe von Hauptbewertungen, um einen Überblick über die Modellleistung zu geben. Darüber hinaus diskutieren wir auch Einschränkungen im aktuellen Evaluierungsaufbau und Herausforderungen für die Zukunft der datengetriebenen Wettervorhersage.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.