Vers un modèle de fondation unifié Copernicus pour la vision de la Terre

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Auteurs: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Résumé

Les avancées dans les modèles de base pour l'observation de la Terre (OT) ont débloqué le potentiel des données satellitaires massives pour apprendre des représentations génériques depuis l'espace, bénéficiant ainsi à un large éventail d'applications en aval cruciales pour notre planète. Cependant, la plupart des efforts existants restent limités à des capteurs spectraux fixes, se concentrent uniquement sur la surface de la Terre et négligent les métadonnées précieuses au-delà des images. Dans ce travail, nous faisons un pas vers les modèles de base de nouvelle génération pour l'OT avec trois composants clés : 1) Copernicus-Pretrain, un jeu de données de pré-entraînement à grande échelle qui intègre 18,7 millions d'images alignées provenant de toutes les principales missions Sentinel de Copernicus, couvrant de la surface de la Terre à son atmosphère ; 2) Copernicus-FM, un modèle de base unifié capable de traiter toute modalité de capteur spectrale ou non spectrale en utilisant des hyper-réseaux dynamiques étendus et un encodage flexible des métadonnées ; et 3) Copernicus-Bench, un benchmark d'évaluation systématique avec 15 tâches hiérarchiques en aval allant du prétraitement aux applications spécialisées pour chaque mission Sentinel. Notre jeu de données, modèle et benchmark améliorent considérablement l'évolutivité, la polyvalence et l'adaptabilité multimodale des modèles de base pour l'OT, tout en créant de nouvelles opportunités pour connecter l'OT, la météorologie et la recherche climatique. Les codes, jeux de données et modèles sont disponibles à l'adresse https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.