Naar een Verenigd Copernicus Fundamentmodel voor Aardobservatie

Towards a Unified Copernicus Foundation Model for Earth Vision

March 14, 2025

Auteurs: Yi Wang, Zhitong Xiong, Chenying Liu, Adam J. Stewart, Thomas Dujardin, Nikolaos Ioannis Bountos, Angelos Zavras, Franziska Gerken, Ioannis Papoutsis, Laura Leal-Taixé, Xiao Xiang Zhu

cs.AI

Samenvatting

Vooruitgang in fundamentele modellen voor aardobservatie (EO) heeft het potentieel van grote satellietdatasets ontsloten om generieke representaties vanuit de ruimte te leren, wat ten goede komt aan een breed scala aan downstreamtoepassingen die cruciaal zijn voor onze planeet. De meeste bestaande inspanningen blijven echter beperkt tot vaste spectrale sensoren, richten zich uitsluitend op het aardoppervlak en negeren waardevolle metadata buiten beeldmateriaal. In dit werk zetten we een stap richting volgende-generatie EO-fundamentele modellen met drie belangrijke componenten: 1) Copernicus-Pretrain, een grootschalige pretrainingsdataset die 18,7 miljoen uitgelijnde afbeeldingen integreert van alle belangrijke Copernicus Sentinel-missies, variërend van het aardoppervlak tot de atmosfeer; 2) Copernicus-FM, een geïntegreerd fundamenteel model dat in staat is om elke spectrale of niet-spectrale sensormodaliteit te verwerken met behulp van uitgebreide dynamische hypernetwerken en flexibele metadata-codering; en 3) Copernicus-Bench, een systematische evaluatiebenchmark met 15 hiërarchische downstreamtaken, variërend van preprocessing tot gespecialiseerde toepassingen voor elke Sentinel-missie. Onze dataset, model en benchmark verbeteren aanzienlijk de schaalbaarheid, veelzijdigheid en multimodale aanpasbaarheid van EO-fundamentele modellen, terwijl ze ook nieuwe mogelijkheden creëren om aardobservatie, weer- en klimaatonderzoek met elkaar te verbinden. Codes, datasets en modellen zijn beschikbaar op https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.