Rumo a um Modelo de Fundação Copernicus Unificado para Visão da Terra

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Autores: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Resumo

Avanços nos modelos fundamentais de observação da Terra (EO) desbloquearam o potencial dos grandes dados de satélite para aprender representações genéricas do espaço, beneficiando uma ampla gama de aplicações downstream cruciais para o nosso planeta. No entanto, a maioria dos esforços existentes permanece limitada a sensores espectrais fixos, focando-se exclusivamente na superfície da Terra e negligenciando metadados valiosos além das imagens. Neste trabalho, damos um passo em direção aos modelos fundamentais de EO de próxima geração com três componentes principais: 1) Copernicus-Pretrain, um conjunto de dados de pré-treinamento em grande escala que integra 18,7 milhões de imagens alinhadas de todas as principais missões Sentinel do Copernicus, abrangendo desde a superfície da Terra até sua atmosfera; 2) Copernicus-FM, um modelo fundamental unificado capaz de processar qualquer modalidade de sensor espectral ou não espectral usando hiper-redes dinâmicas estendidas e codificação flexível de metadados; e 3) Copernicus-Bench, um benchmark de avaliação sistemática com 15 tarefas downstream hierárquicas, desde pré-processamento até aplicações especializadas para cada missão Sentinel. Nosso conjunto de dados, modelo e benchmark melhoram significativamente a escalabilidade, versatilidade e adaptabilidade multimodal dos modelos fundamentais de EO, ao mesmo tempo em que criam novas oportunidades para conectar a observação da Terra, o clima e a pesquisa meteorológica. Códigos, conjuntos de dados e modelos estão disponíveis em https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.