통합 코페르니쿠스 기반 모델을 향한 지구 비전

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

저자: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

초록

지구 관측(EO) 기반 모델의 발전으로 인해 위성 빅데이터를 활용하여 우주로부터 일반적인 표현을 학습할 수 있는 잠재력이 열렸으며, 이는 우리 행성에 중요한 다양한 다운스트림 애플리케이션에 혜택을 주고 있습니다. 그러나 대부분의 기존 연구는 고정된 스펙트럼 센서에 국한되어 있으며, 지구 표면에만 초점을 맞추고 이미지 외의 가치 있는 메타데이터를 간과하고 있습니다. 본 연구에서는 차세대 EO 기반 모델을 향한 한 걸음을 내딛기 위해 세 가지 핵심 요소를 제시합니다: 1) 지구 표면부터 대기까지 모든 주요 코페르니쿠스 센티넬 미션에서 수집된 1,870만 개의 정렬된 이미지를 통합한 대규모 사전 학습 데이터셋인 Copernicus-Pretrain; 2) 확장된 동적 하이퍼네트워크와 유연한 메타데이터 인코딩을 통해 모든 스펙트럼 및 비스펙트럼 센서 모달리티를 처리할 수 있는 통합 기반 모델인 Copernicus-FM; 3) 각 센티넬 미션에 대한 전처리부터 특수 애플리케이션까지 15개의 계층적 다운스트림 작업으로 구성된 체계적인 평가 벤치마크인 Copernicus-Bench. 우리의 데이터셋, 모델, 벤치마크는 EO 기반 모델의 확장성, 다양성, 다중 모달 적응성을 크게 향상시키는 동시에 EO, 기상, 기후 연구를 연결할 수 있는 새로운 기회를 창출합니다. 코드, 데이터셋 및 모델은 https://github.com/zhu-xlab/Copernicus-FM에서 확인할 수 있습니다.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.