MAESTRO: Autoencoders Mascarados para Dados de Observação da Terra Multimodais, Multitemporais e Multiespectrais

MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data

August 14, 2025

Autores: Antoine Labatie, Michael Vaccaro, Nina Lardiere, Anatol Garioud, Nicolas Gonthier

cs.AI

Resumo

O aprendizado auto-supervisionado apresenta grande potencial para o sensoriamento remoto, mas os métodos padrão de auto-supervisão precisam ser adaptados às características únicas dos dados de observação da Terra. Damos um passo nessa direção ao realizar uma avaliação abrangente de estratégias de fusão e esquemas de normalização de alvos de reconstrução para dados de observação da Terra multimodais, multitemporais e multiespectrais. Com base em nossas descobertas, propomos o MAESTRO, uma nova adaptação do Autoencoder Mascarado, que apresenta estratégias de fusão otimizadas e um esquema de normalização de alvos personalizado, introduzindo um prior espectral como sinal de auto-supervisão. Avaliado em quatro conjuntos de dados de observação da Terra, o MAESTRO estabelece um novo estado da arte em tarefas que dependem fortemente de dinâmicas multitemporais, mantendo-se altamente competitivo em tarefas dominadas por uma única modalidade monotemporal. O código para reproduzir todos os nossos experimentos está disponível em https://github.com/ignf/maestro.

English

Self-supervised learning holds great promise for remote sensing, but standard self-supervised methods must be adapted to the unique characteristics of Earth observation data. We take a step in this direction by conducting a comprehensive benchmark of fusion strategies and reconstruction target normalization schemes for multimodal, multitemporal, and multispectral Earth observation data. Based on our findings, we propose MAESTRO, a novel adaptation of the Masked Autoencoder, featuring optimized fusion strategies and a tailored target normalization scheme that introduces a spectral prior as a self-supervisory signal. Evaluated on four Earth observation datasets, MAESTRO sets a new state-of-the-art on tasks that strongly rely on multitemporal dynamics, while remaining highly competitive on tasks dominated by a single mono-temporal modality. Code to reproduce all our experiments is available at https://github.com/ignf/maestro.