WeatherBench 2: эталон для следующего поколения моделей глобальной погоды, основанных на данных
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Авторы: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Аннотация
WeatherBench 2 представляет собой обновление глобального эталона для среднесрочного (1–14 дней) прогнозирования погоды, предложенного Rasp и соавт. (2020), разработанного с целью ускорения прогресса в области моделей прогнозирования погоды, основанных на данных. WeatherBench 2 включает в себя открытую платформу для оценки, общедоступные данные для обучения, эталонные данные и базовые наборы данных, а также постоянно обновляемый веб-сайт с последними метриками и передовыми моделями: https://sites.research.google/weatherbench. В данной статье описаны принципы разработки платформы оценки и представлены результаты для современных физических и основанных на данных моделей прогнозирования погоды. Метрики основаны на устоявшихся практиках оценки прогнозов погоды, используемых в ведущих оперативных метеорологических центрах. Мы определяем набор ключевых показателей для обзора производительности моделей. Кроме того, обсуждаются ограничения текущей системы оценки и вызовы, стоящие перед будущим прогнозирования погоды на основе данных.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.