MAESTRO: Gemaskte AutoEncoders voor Multimodale, Multitemporele en Multispectrale Aardobservatiegegevens

MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data

August 14, 2025

Auteurs: Antoine Labatie, Michael Vaccaro, Nina Lardiere, Anatol Garioud, Nicolas Gonthier

cs.AI

Samenvatting

Zelfsupervised leren biedt grote mogelijkheden voor remote sensing, maar standaardmethoden voor zelfsupervised leren moeten worden aangepast aan de unieke kenmerken van aardobservatiedata. We zetten een stap in deze richting door een uitgebreide benchmark uit te voeren van fusiestrategieën en normalisatieschema's voor reconstructiedoelen voor multimodale, multitemporele en multispectrale aardobservatiedata. Op basis van onze bevindingen stellen we MAESTRO voor, een nieuwe aanpassing van de Masked Autoencoder, met geoptimaliseerde fusiestrategieën en een op maat gemaakt normalisatieschema voor doelen dat een spectrale prior introduceert als een zelfsuperviserend signaal. Geëvalueerd op vier aardobservatiedatasets, vestigt MAESTRO een nieuwe state-of-the-art voor taken die sterk afhankelijk zijn van multitemporele dynamiek, terwijl het zeer competitief blijft voor taken die worden gedomineerd door een enkele monotemporele modaliteit. Code om al onze experimenten te reproduceren is beschikbaar op https://github.com/ignf/maestro.

English

Self-supervised learning holds great promise for remote sensing, but standard self-supervised methods must be adapted to the unique characteristics of Earth observation data. We take a step in this direction by conducting a comprehensive benchmark of fusion strategies and reconstruction target normalization schemes for multimodal, multitemporal, and multispectral Earth observation data. Based on our findings, we propose MAESTRO, a novel adaptation of the Masked Autoencoder, featuring optimized fusion strategies and a tailored target normalization scheme that introduces a spectral prior as a self-supervisory signal. Evaluated on four Earth observation datasets, MAESTRO sets a new state-of-the-art on tasks that strongly rely on multitemporal dynamics, while remaining highly competitive on tasks dominated by a single mono-temporal modality. Code to reproduce all our experiments is available at https://github.com/ignf/maestro.