AnySat: Een Aardobservatiemodel voor Alle Resoluties, Schalen en Modaliteiten

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Auteurs: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Samenvatting

Geospatiale modellen moeten zich aanpassen aan de diversiteit van aardobservatiegegevens wat betreft resoluties, schalen en modaliteiten. Bestaande benaderingen verwachten echter vaste invoerconfiguraties, wat hun praktische toepasbaarheid beperkt. Wij stellen AnySat voor, een multimodaal model gebaseerd op een gezamenlijke inbeddingsvoorspellingsarchitectuur (JEPA) en resolutie-aanpasbare ruimtelijke encoders, waardoor we een enkel model kunnen trainen op zeer heterogene gegevens op een zelfbegeleide manier. Om de voordelen van deze verenigde aanpak te demonstreren, compileren we GeoPlex, een verzameling van 5 multimodale datasets met variërende kenmerken en 11 verschillende sensoren. Vervolgens trainen we een enkel krachtig model op deze diverse datasets tegelijkertijd. Eenmaal fijn afgestemd, behalen we betere of bijna state-of-the-art resultaten op de datasets van GeoPlex en 4 extra voor 5 milieumonitoringstaken: landbedekkingskaart, boomsoortidentificatie, gewastypeclassificatie, veranderingdetectie en overstromingssegmentatie. De code en modellen zijn beschikbaar op https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.