Hacia un Modelo Fundacional Unificado Copernicus para la Visión de la Tierra

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Autores: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Resumen

Los avances en los modelos fundamentales de observación terrestre (EO, por sus siglas en inglés) han desbloqueado el potencial de los grandes datos satelitales para aprender representaciones genéricas desde el espacio, beneficiando una amplia gama de aplicaciones posteriores cruciales para nuestro planeta. Sin embargo, la mayoría de los esfuerzos existentes se limitan a sensores espectrales fijos, se centran únicamente en la superficie terrestre y pasan por alto metadatos valiosos más allá de las imágenes. En este trabajo, damos un paso hacia los modelos fundamentales de EO de próxima generación con tres componentes clave: 1) Copernicus-Pretrain, un conjunto de datos de preentrenamiento a gran escala que integra 18.7 millones de imágenes alineadas de todas las misiones principales de Copernicus Sentinel, abarcando desde la superficie terrestre hasta su atmósfera; 2) Copernicus-FM, un modelo fundamental unificado capaz de procesar cualquier modalidad de sensor espectral o no espectral utilizando hiperredes dinámicas extendidas y codificación flexible de metadatos; y 3) Copernicus-Bench, un punto de referencia de evaluación sistemática con 15 tareas posteriores jerárquicas que van desde el preprocesamiento hasta aplicaciones especializadas para cada misión Sentinel. Nuestro conjunto de datos, modelo y punto de referencia mejoran significativamente la escalabilidad, versatilidad y adaptabilidad multimodal de los modelos fundamentales de EO, al mismo tiempo que crean nuevas oportunidades para conectar la observación terrestre, el clima y la investigación meteorológica. Los códigos, conjuntos de datos y modelos están disponibles en https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.