AnySat: Ein Erdbeobachtungsmodell für beliebige Auflösungen, Maßstäbe und Modalitäten.

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Autoren: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Zusammenfassung

Georäumliche Modelle müssen sich an die Vielfalt der Erdbeobachtungsdaten in Bezug auf Auflösungen, Maßstäbe und Modalitäten anpassen. Allerdings erwarten bestehende Ansätze feste Eingabekonfigurationen, was ihre praktische Anwendbarkeit einschränkt. Wir schlagen AnySat vor, ein multimodales Modell basierend auf einer gemeinsamen Einbettungsvorhersagearchitektur (JEPA) und auflösungsadaptiven räumlichen Encodern, die es uns ermöglichen, ein einziges Modell auf stark heterogenen Daten selbstüberwacht zu trainieren. Um die Vorteile dieses vereinheitlichten Ansatzes zu demonstrieren, erstellen wir GeoPlex, eine Sammlung von 5 multimodalen Datensätzen mit unterschiedlichen Merkmalen und 11 verschiedenen Sensoren. Anschließend trainieren wir ein einziges leistungsstarkes Modell gleichzeitig auf diesen vielfältigen Datensätzen. Nach Feinabstimmung erzielen wir bessere oder nahezu state-of-the-art Ergebnisse auf den Datensätzen von GeoPlex und 4 zusätzlichen für 5 Umweltüberwachungsaufgaben: Landbedeckungskartierung, Baumartenidentifikation, Klassifizierung von Anbautypen, Änderungserkennung und Flutsegmentierung. Der Code und die Modelle sind verfügbar unter https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.