MAESTRO: Маскированные автоэнкодеры для мультимодальных, мультивременных и мультиспектральных данных дистанционного зондирования Земли

MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data

August 14, 2025

Авторы: Antoine Labatie, Michael Vaccaro, Nina Lardiere, Anatol Garioud, Nicolas Gonthier

cs.AI

Аннотация

Самообучение обладает огромным потенциалом для дистанционного зондирования, однако стандартные методы самообучения необходимо адаптировать к уникальным характеристикам данных наблюдения Земли. Мы делаем шаг в этом направлении, проводя всесторонний анализ стратегий слияния и схем нормализации целевых данных для мультимодальных, мультивременных и мультиспектральных данных наблюдения Земли. На основе полученных результатов мы предлагаем MAESTRO — новую адаптацию Masked Autoencoder, включающую оптимизированные стратегии слияния и специализированную схему нормализации целевых данных, которая вводит спектральный априор в качестве сигнала самообучения. Протестированный на четырех наборах данных наблюдения Земли, MAESTRO устанавливает новый эталон в задачах, сильно зависящих от мультивременной динамики, оставаясь при этом высококонкурентоспособным в задачах, где доминирует моно-временная модальность. Код для воспроизведения всех наших экспериментов доступен по адресу https://github.com/ignf/maestro.

English

Self-supervised learning holds great promise for remote sensing, but standard self-supervised methods must be adapted to the unique characteristics of Earth observation data. We take a step in this direction by conducting a comprehensive benchmark of fusion strategies and reconstruction target normalization schemes for multimodal, multitemporal, and multispectral Earth observation data. Based on our findings, we propose MAESTRO, a novel adaptation of the Masked Autoencoder, featuring optimized fusion strategies and a tailored target normalization scheme that introduces a spectral prior as a self-supervisory signal. Evaluated on four Earth observation datasets, MAESTRO sets a new state-of-the-art on tasks that strongly rely on multitemporal dynamics, while remaining highly competitive on tasks dominated by a single mono-temporal modality. Code to reproduce all our experiments is available at https://github.com/ignf/maestro.