Omni-Weather: Einheitliches multimodales Grundmodell zur Wettergenerierung und -verständnis
Omni-Weather: Unified Multimodal Foundation Model for Weather Generation and Understanding
December 25, 2025
papers.authors: Zhiwang Zhou, Yuandong Pu, Xuming He, Yidi Liu, Yixin Chen, Junchao Gong, Xiang Zhuang, Wanghan Xu, Qinglong Cao, Shixiang Tang, Yihao Liu, Wenlong Zhang, Lei Bai
cs.AI
papers.abstract
Wettermodellierung erfordert sowohl präzise Vorhersagen als auch mechanistische Interpretation, doch bestehende Methoden behandeln diese Ziele isoliert und trennen Generierung von Verständnis. Um diese Lücke zu schließen, präsentieren wir Omni-Weather, das erste multimodale Foundation-Modell, das Wettergenerierung und -verständnis in einer einzigen Architektur vereint. Omni-Weather integriert einen Radar-Encoder für Wettergenerierungsaufgaben, gefolgt von einer vereinheitlichten Verarbeitung durch einen gemeinsamen Self-Attention-Mechanismus. Zudem erstellen wir einen Chain-of-Thought-Datensatz für kausales Reasoning in der Wettergenerierung, der interpretierbare Ergebnisse und verbesserte Wahrnehmungsqualität ermöglicht. Umfangreiche Experimente zeigen, dass Omni-Weather state-of-the-art Leistung in beiden Bereichen erzielt. Unsere Ergebnisse deuten weiterhin darauf hin, dass generative und verstehende Aufgaben im Wetterbereich sich gegenseitig verstärken können. Omni-Weather demonstriert zudem die Machbarkeit und den Wert der Vereinheitlichung von Wettergenerierung und -verständnis.
English
Weather modeling requires both accurate prediction and mechanistic interpretation, yet existing methods treat these goals in isolation, separating generation from understanding. To address this gap, we present Omni-Weather, the first multimodal foundation model that unifies weather generation and understanding within a single architecture. Omni-Weather integrates a radar encoder for weather generation tasks, followed by unified processing using a shared self-attention mechanism. Moreover, we construct a Chain-of-Thought dataset for causal reasoning in weather generation, enabling interpretable outputs and improved perceptual quality. Extensive experiments show Omni-Weather achieves state-of-the-art performance in both weather generation and understanding. Our findings further indicate that generative and understanding tasks in the weather domain can mutually enhance each other. Omni-Weather also demonstrates the feasibility and value of unifying weather generation and understanding.