Omni-Weather: Verenigd Multimodaal Fundamentmodel voor Weergeneratie en -begrip
Omni-Weather: Unified Multimodal Foundation Model for Weather Generation and Understanding
December 25, 2025
Auteurs: Zhiwang Zhou, Yuandong Pu, Xuming He, Yidi Liu, Yixin Chen, Junchao Gong, Xiang Zhuang, Wanghan Xu, Qinglong Cao, Shixiang Tang, Yihao Liu, Wenlong Zhang, Lei Bai
cs.AI
Samenvatting
Weermodellering vereist zowel accurate voorspelling als mechanistische interpretatie, maar bestaande methoden behandelen deze doelstellingen geïsoleerd door generatie van begrip te scheiden. Om deze kloof te dichten, presenteren wij Omni-Weather, het eerste multimodale foundation-model dat weergeneratie en -begrip verenigt binnen een enkele architectuur. Omni-Weather integreert een radar-encoder voor weergeneratietaken, gevolgd door uniforme verwerking via een gedeeld self-attention-mechanisme. Bovendien construeren we een Chain-of-Thought-dataset voor causaal redeneren bij weergeneratie, wat interpreteerbare uitvoer en verbeterde perceptuele kwaliteit mogelijk maakt. Uitgebreide experimenten tonen aan dat Omni-Weather state-of-the-art prestaties levert in zowel weergeneratie als -begrip. Onze bevindingen wijzen verder uit dat generatieve en begripstaken in het weerdomein elkaar wederzijds kunnen versterken. Omni-Weather demonstreert tevens de haalbaarheid en waarde van het verenigen van weergeneratie en -begrip.
English
Weather modeling requires both accurate prediction and mechanistic interpretation, yet existing methods treat these goals in isolation, separating generation from understanding. To address this gap, we present Omni-Weather, the first multimodal foundation model that unifies weather generation and understanding within a single architecture. Omni-Weather integrates a radar encoder for weather generation tasks, followed by unified processing using a shared self-attention mechanism. Moreover, we construct a Chain-of-Thought dataset for causal reasoning in weather generation, enabling interpretable outputs and improved perceptual quality. Extensive experiments show Omni-Weather achieves state-of-the-art performance in both weather generation and understanding. Our findings further indicate that generative and understanding tasks in the weather domain can mutually enhance each other. Omni-Weather also demonstrates the feasibility and value of unifying weather generation and understanding.