MAESTRO: 다중 모달, 다중 시점, 다중 스펙트럼 지구 관측 데이터를 위한 마스크드 오토인코더

초록

자기 지도 학습(self-supervised learning)은 원격 탐사 분야에서 큰 잠재력을 가지고 있지만, 표준 자기 지도 학습 방법은 지구 관측 데이터의 독특한 특성에 맞게 조정되어야 합니다. 우리는 이 방향으로 한 걸음 나아가, 다중 모달(multimodal), 다중 시계열(multitemporal), 다중 스펙트럼(multispectral) 지구 관측 데이터에 대한 융합 전략과 재구축 목표 정규화 기법을 포괄적으로 벤치마킹했습니다. 이를 바탕으로, 우리는 MAESTRO를 제안합니다. MAESTRO는 Masked Autoencoder의 새로운 적응 버전으로, 최적화된 융합 전략과 스펙트럴 사전 정보를 자기 지도 신호로 도입하는 맞춤형 목표 정규화 기법을 특징으로 합니다. 네 가지 지구 관측 데이터셋에서 평가된 MAESTRO는 다중 시계열 동역학에 크게 의존하는 작업에서 새로운 최첨단 성능을 달성했으며, 단일 시점 모달리티가 주도하는 작업에서도 매우 경쟁력 있는 성능을 유지했습니다. 우리의 모든 실험을 재현할 수 있는 코드는 https://github.com/ignf/maestro에서 확인할 수 있습니다.

English

Self-supervised learning holds great promise for remote sensing, but standard self-supervised methods must be adapted to the unique characteristics of Earth observation data. We take a step in this direction by conducting a comprehensive benchmark of fusion strategies and reconstruction target normalization schemes for multimodal, multitemporal, and multispectral Earth observation data. Based on our findings, we propose MAESTRO, a novel adaptation of the Masked Autoencoder, featuring optimized fusion strategies and a tailored target normalization scheme that introduces a spectral prior as a self-supervisory signal. Evaluated on four Earth observation datasets, MAESTRO sets a new state-of-the-art on tasks that strongly rely on multitemporal dynamics, while remaining highly competitive on tasks dominated by a single mono-temporal modality. Code to reproduce all our experiments is available at https://github.com/ignf/maestro.

MAESTRO: 다중 모달, 다중 시점, 다중 스펙트럼 지구 관측 데이터를 위한 마스크드 오토인코더

MAESTRO: Masked AutoEncoders for Multimodal, Multitemporal, and Multispectral Earth Observation Data

초록

Support