地球ビジョンのための統一コペルニクス基盤モデルに向けて

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

著者: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

要旨

地球観測（EO）基盤モデルの進展により、衛星ビッグデータから宇宙空間における汎用的な表現を学習する可能性が開かれ、私たちの惑星にとって重要な多様な下流アプリケーションに恩恵をもたらしています。しかし、既存の取り組みの多くは固定されたスペクトルセンサーに限定され、地球の表面のみに焦点を当て、画像以外の貴重なメタデータを見落としています。本研究では、次世代のEO基盤モデルに向けて以下の3つの主要な要素を提案します：1）Copernicus-Pretrain、地球の表面から大気圏までをカバーする主要なCopernicus Sentinelミッションから得られた1870万枚の整列画像を統合した大規模な事前学習データセット；2）Copernicus-FM、拡張された動的ハイパーネットワークと柔軟なメタデータエンコーディングを使用して、任意のスペクトルまたは非スペクトルセンサーモダリティを処理可能な統一基盤モデル；3）Copernicus-Bench、各Sentinelミッションの前処理から専門的なアプリケーションまでを網羅する15の階層的な下流タスクを含む体系的な評価ベンチマーク。私たちのデータセット、モデル、ベンチマークは、EO基盤モデルのスケーラビリティ、汎用性、マルチモーダル適応性を大幅に向上させると同時に、EO、気象、気候研究を結びつける新たな機会を創出します。コード、データセット、モデルはhttps://github.com/zhu-xlab/Copernicus-FMで公開されています。

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.