Verso un Modello Fondamentale Unificato Copernicus per la Visione Terrestre

Abstract

I progressi nei modelli di base per l'osservazione terrestre (EO) hanno sbloccato il potenziale dei big data satellitari per apprendere rappresentazioni generiche dallo spazio, apportando benefici a un'ampia gamma di applicazioni a valle cruciali per il nostro pianeta. Tuttavia, la maggior parte degli sforzi esistenti rimane limitata a sensori spettrali fissi, si concentra esclusivamente sulla superficie terrestre e trascura metadati preziosi oltre alle immagini. In questo lavoro, compiamo un passo verso i modelli di base di prossima generazione per l'EO con tre componenti chiave: 1) Copernicus-Pretrain, un dataset di pre-addestramento su larga scala che integra 18,7 milioni di immagini allineate da tutte le principali missioni Sentinel di Copernicus, dalla superficie terrestre alla sua atmosfera; 2) Copernicus-FM, un modello di base unificato in grado di elaborare qualsiasi modalità di sensore spettrale o non spettrale utilizzando hypernetwork dinamici estesi e una codifica flessibile dei metadati; e 3) Copernicus-Bench, un benchmark di valutazione sistematico con 15 task a valle gerarchici, che vanno dalla pre-elaborazione ad applicazioni specializzate per ciascuna missione Sentinel. Il nostro dataset, modello e benchmark migliorano notevolmente la scalabilità, la versatilità e l'adattabilità multimodale dei modelli di base per l'EO, creando anche nuove opportunità per collegare l'osservazione terrestre, la meteorologia e la ricerca climatica. Codici, dataset e modelli sono disponibili all'indirizzo https://github.com/zhu-xlab/Copernicus-FM.

English

Advances in Earth observation (EO) foundation models have unlocked the potential of big satellite data to learn generic representations from space, benefiting a wide range of downstream applications crucial to our planet. However, most existing efforts remain limited to fixed spectral sensors, focus solely on the Earth's surface, and overlook valuable metadata beyond imagery. In this work, we take a step towards next-generation EO foundation models with three key components: 1) Copernicus-Pretrain, a massive-scale pretraining dataset that integrates 18.7M aligned images from all major Copernicus Sentinel missions, spanning from the Earth's surface to its atmosphere; 2) Copernicus-FM, a unified foundation model capable of processing any spectral or non-spectral sensor modality using extended dynamic hypernetworks and flexible metadata encoding; and 3) Copernicus-Bench, a systematic evaluation benchmark with 15 hierarchical downstream tasks ranging from preprocessing to specialized applications for each Sentinel mission. Our dataset, model, and benchmark greatly improve the scalability, versatility, and multimodal adaptability of EO foundation models, while also creating new opportunities to connect EO, weather, and climate research. Codes, datasets and models are available at https://github.com/zhu-xlab/Copernicus-FM.

Verso un Modello Fondamentale Unificato Copernicus per la Visione Terrestre

Towards a Unified Copernicus Foundation Model for Earth Vision

Abstract

Support