MAESTRO: AutoCodificadores Enmascarados para Datos de Observación de la Tierra Multimodales, Multitemporales y Multiespectrales

MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data

August 14, 2025

Autores: Antoine Labatie, Michael Vaccaro, Nina Lardiere, Anatol Garioud, Nicolas Gonthier

cs.AI

Resumen

El aprendizaje autosupervisado tiene un gran potencial para la teledetección, pero los métodos estándar de autosupervisión deben adaptarse a las características únicas de los datos de observación terrestre. Damos un paso en esta dirección realizando una evaluación exhaustiva de estrategias de fusión y esquemas de normalización de objetivos de reconstrucción para datos de observación terrestre multimodales, multitemporales y multiespectrales. Basándonos en nuestros hallazgos, proponemos MAESTRO, una novedosa adaptación del Autoencoder Enmascarado, que incluye estrategias de fusión optimizadas y un esquema de normalización de objetivos personalizado que introduce un previo espectral como señal de autosupervisión. Evaluado en cuatro conjuntos de datos de observación terrestre, MAESTRO establece un nuevo estado del arte en tareas que dependen fuertemente de dinámicas multitemporales, mientras se mantiene altamente competitivo en tareas dominadas por una única modalidad monotemporal. El código para reproducir todos nuestros experimentos está disponible en https://github.com/ignf/maestro.

English

Self-supervised learning holds great promise for remote sensing, but standard self-supervised methods must be adapted to the unique characteristics of Earth observation data. We take a step in this direction by conducting a comprehensive benchmark of fusion strategies and reconstruction target normalization schemes for multimodal, multitemporal, and multispectral Earth observation data. Based on our findings, we propose MAESTRO, a novel adaptation of the Masked Autoencoder, featuring optimized fusion strategies and a tailored target normalization scheme that introduces a spectral prior as a self-supervisory signal. Evaluated on four Earth observation datasets, MAESTRO sets a new state-of-the-art on tasks that strongly rely on multitemporal dynamics, while remaining highly competitive on tasks dominated by a single mono-temporal modality. Code to reproduce all our experiments is available at https://github.com/ignf/maestro.