AnySat : Un modèle d'observation de la Terre pour toutes les résolutions, échelles et modalités

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Auteurs: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Résumé

Les modèles géospatiaux doivent s'adapter à la diversité des données d'observation de la Terre en termes de résolutions, d'échelles et de modalités. Cependant, les approches existantes s'attendent à des configurations d'entrée fixes, ce qui limite leur applicabilité pratique. Nous proposons AnySat, un modèle multimodal basé sur une architecture prédictive d'incorporation conjointe (JEPA) et des codeurs spatiaux adaptatifs à la résolution, nous permettant de former un seul modèle sur des données très hétérogènes de manière auto-supervisée. Pour démontrer les avantages de cette approche unifiée, nous compilons GeoPlex, une collection de 5 ensembles de données multimodaux avec des caractéristiques variables et 11 capteurs distincts. Nous formons ensuite un seul modèle puissant sur ces ensembles de données diversifiés simultanément. Une fois affiné, nous obtenons de meilleurs résultats ou des résultats proches de l'état de l'art sur les ensembles de données de GeoPlex et 4 autres pour 5 tâches de surveillance de l'environnement : cartographie de l'occupation des sols, identification des espèces d'arbres, classification des types de cultures, détection de changements et segmentation des inondations. Le code et les modèles sont disponibles sur https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.