AnySat: Un modelo de observación terrestre para cualquier resolución, escala y modalidades.

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Autores: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Resumen

Los modelos geoespaciales deben adaptarse a la diversidad de datos de observación terrestre en términos de resoluciones, escalas y modalidades. Sin embargo, los enfoques existentes esperan configuraciones de entrada fijas, lo que limita su aplicabilidad práctica. Proponemos AnySat, un modelo multimodal basado en una arquitectura predictiva de incrustación conjunta (JEPA) y codificadores espaciales adaptables a la resolución, lo que nos permite entrenar un solo modelo en datos altamente heterogéneos de manera auto-supervisada. Para demostrar las ventajas de este enfoque unificado, compilamos GeoPlex, una colección de 5 conjuntos de datos multimodales con características variables y 11 sensores distintos. Luego, entrenamos un solo modelo potente en estos conjuntos de datos diversos simultáneamente. Una vez ajustado, logramos mejores o resultados cercanos al estado del arte en los conjuntos de datos de GeoPlex y 4 adicionales para 5 tareas de monitoreo ambiental: mapeo de cobertura terrestre, identificación de especies arbóreas, clasificación de tipos de cultivos, detección de cambios y segmentación de inundaciones. El código y los modelos están disponibles en https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.