Omni-Weather: Modello Fondamentale Multimodale Unificato per la Generazione e la Comprensione Meteorologica
Omni-Weather: Unified Multimodal Foundation Model for Weather Generation and Understanding
December 25, 2025
Autori: Zhiwang Zhou, Yuandong Pu, Xuming He, Yidi Liu, Yixin Chen, Junchao Gong, Xiang Zhuang, Wanghan Xu, Qinglong Cao, Shixiang Tang, Yihao Liu, Wenlong Zhang, Lei Bai
cs.AI
Abstract
La modellazione meteorologica richiede sia previsioni accurate che un'interpretazione meccanicistica, eppure i metodi esistenti trattano questi obiettivi in modo isolato, separando la generazione dalla comprensione. Per colmare questa lacuna, presentiamo Omni-Weather, il primo modello fondamento multimodale che unifica generazione e comprensione meteorologica all'interno di un'unica architettura. Omni-Weather integra un encoder radar per le attività di generazione meteorologica, seguito da un'elaborazione unificata mediante un meccanismo di self-attention condiviso. Inoltre, abbiamo costruito un dataset Chain-of-Thought per il ragionamento causale nella generazione meteorologica, consentendo output interpretabili e una migliore qualità percettiva. Esperimenti estensivi dimostrano che Omni-Weather raggiunge prestazioni allo stato dell'arte sia nella generazione che nella comprensione meteorologica. I nostri risultati indicano inoltre che i compiti di generazione e comprensione nel dominio meteorologico possono rafforzarsi reciprocamente. Omni-Weather dimostra anche la fattibilità e il valore dell'unificazione tra generazione e comprensione meteorologica.
English
Weather modeling requires both accurate prediction and mechanistic interpretation, yet existing methods treat these goals in isolation, separating generation from understanding. To address this gap, we present Omni-Weather, the first multimodal foundation model that unifies weather generation and understanding within a single architecture. Omni-Weather integrates a radar encoder for weather generation tasks, followed by unified processing using a shared self-attention mechanism. Moreover, we construct a Chain-of-Thought dataset for causal reasoning in weather generation, enabling interpretable outputs and improved perceptual quality. Extensive experiments show Omni-Weather achieves state-of-the-art performance in both weather generation and understanding. Our findings further indicate that generative and understanding tasks in the weather domain can mutually enhance each other. Omni-Weather also demonstrates the feasibility and value of unifying weather generation and understanding.