К созданию унифицированной фундаментальной модели Copernicus для задач компьютерного зрения в области изучения Земли

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Авторы: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Аннотация

Достижения в области базовых моделей для наблюдения Земли (EO) раскрыли потенциал больших спутниковых данных для изучения общих представлений из космоса, что приносит пользу широкому спектру важных для нашей планеты прикладных задач. Однако большинство существующих разработок ограничиваются фиксированными спектральными сенсорами, сосредотачиваются исключительно на поверхности Земли и упускают ценную метаинформацию, выходящую за рамки изображений. В данной работе мы делаем шаг к созданию базовых моделей EO следующего поколения, предлагая три ключевых компонента: 1) Copernicus-Pretrain — масштабный набор данных для предварительного обучения, объединяющий 18,7 млн согласованных изображений со всех основных миссий Copernicus Sentinel, охватывающих как поверхность Земли, так и её атмосферу; 2) Copernicus-FM — унифицированная базовая модель, способная обрабатывать любые спектральные и неспектральные сенсорные модальности с использованием расширенных динамических гиперсетей и гибкого кодирования метаданных; и 3) Copernicus-Bench — систематический эталонный тест с 15 иерархическими прикладными задачами, начиная с предварительной обработки и заканчивая специализированными приложениями для каждой миссии Sentinel. Наш набор данных, модель и эталонный тест значительно повышают масштабируемость, универсальность и мультимодальную адаптивность базовых моделей EO, а также создают новые возможности для объединения исследований в области наблюдения Земли, погоды и климата. Коды, наборы данных и модели доступны по адресу https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.