AnySat: модель наблюдения Земли для любых разрешений, масштабов и типов данных

AnySat: An Earth Observation Model for Any Resolutions, Scales, and Modalities

December 18, 2024

Авторы: Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

cs.AI

Аннотация

Геопространственные модели должны адаптироваться к разнообразию данных наблюдений Земли в терминах разрешений, масштабов и модальностей. Однако существующие подходы предполагают фиксированные конфигурации ввода, что ограничивает их практическую применимость. Мы предлагаем AnySat, мультимодельную модель на основе архитектуры предсказательных совмещенных вложений (JEPA) и разрешения-адаптивных пространственных кодировщиков, позволяющую обучать единую модель на высокоразнородных данных в автономном режиме. Для демонстрации преимуществ этого объединенного подхода мы создаем GeoPlex, коллекцию из 5 мультимодальных наборов данных с различными характеристиками и 11 различными сенсорами. Затем мы обучаем одну мощную модель на этих разнообразных наборах данных одновременно. После тонкой настройки мы достигаем лучших или близких к передовым результатов на наборах данных GeoPlex и еще 4 для 5 задач мониторинга окружающей среды: картографирование земельного покрова, идентификация видов деревьев, классификация типов культур, обнаружение изменений и сегментация наводнений. Код и модели доступны по ссылке https://github.com/gastruc/AnySat.

English

Geospatial models must adapt to the diversity of Earth observation data in terms of resolutions, scales, and modalities. However, existing approaches expect fixed input configurations, which limits their practical applicability. We propose AnySat, a multimodal model based on joint embedding predictive architecture (JEPA) and resolution-adaptive spatial encoders, allowing us to train a single model on highly heterogeneous data in a self-supervised manner. To demonstrate the advantages of this unified approach, we compile GeoPlex, a collection of 5 multimodal datasets with varying characteristics and 11 distinct sensors. We then train a single powerful model on these diverse datasets simultaneously. Once fine-tuned, we achieve better or near state-of-the-art results on the datasets of GeoPlex and 4 additional ones for 5 environment monitoring tasks: land cover mapping, tree species identification, crop type classification, change detection, and flood segmentation. The code and models are available at https://github.com/gastruc/AnySat.