WeatherBench 2: Um benchmark para a próxima geração de modelos globais de previsão do tempo baseados em dados
WeatherBench 2: A benchmark for the next generation of data-driven global weather models
August 29, 2023
Autores: Stephan Rasp, Stephan Hoyer, Alexander Merose, Ian Langmore, Peter Battaglia, Tyler Russel, Alvaro Sanchez-Gonzalez, Vivian Yang, Rob Carver, Shreya Agrawal, Matthew Chantry, Zied Ben Bouallegue, Peter Dueben, Carla Bromberg, Jared Sisk, Luke Barrington, Aaron Bell, Fei Sha
cs.AI
Resumo
O WeatherBench 2 é uma atualização do benchmark global de previsão do tempo de médio prazo (1-14 dias) proposto por Rasp et al. (2020), projetado com o objetivo de acelerar o progresso na modelagem de tempo baseada em dados. O WeatherBench 2 consiste em um framework de avaliação de código aberto, dados de treinamento, dados de referência e dados de linha de base disponíveis publicamente, além de um site continuamente atualizado com as métricas mais recentes e os modelos de ponta: https://sites.research.google/weatherbench. Este artigo descreve os princípios de design do framework de avaliação e apresenta resultados para os modelos físicos e baseados em dados mais avançados atualmente. As métricas são baseadas em práticas estabelecidas para avaliar previsões do tempo nos principais centros operacionais de meteorologia. Definimos um conjunto de pontuações principais para fornecer uma visão geral do desempenho dos modelos. Além disso, também discutimos limitações na configuração atual de avaliação e desafios para o futuro da previsão do tempo baseada em dados.
English
WeatherBench 2 is an update to the global, medium-range (1-14 day) weather
forecasting benchmark proposed by Rasp et al. (2020), designed with the aim to
accelerate progress in data-driven weather modeling. WeatherBench 2 consists of
an open-source evaluation framework, publicly available training, ground truth
and baseline data as well as a continuously updated website with the latest
metrics and state-of-the-art models:
https://sites.research.google/weatherbench. This paper describes the design
principles of the evaluation framework and presents results for current
state-of-the-art physical and data-driven weather models. The metrics are based
on established practices for evaluating weather forecasts at leading
operational weather centers. We define a set of headline scores to provide an
overview of model performance. In addition, we also discuss caveats in the
current evaluation setup and challenges for the future of data-driven weather
forecasting.