UniverSat: Разрешение- и модально-агностические трансформеры для наблюдения Земли

Аннотация

Визуальные трансформеры (ViT) доминируют в компьютерном зрении. Однако их зависимость от жёстких проекторов патчей затрудняет перенос на задачи наблюдения Земли (НО), где входные модальности, масштабы и разрешения сильно варьируются. Мы представляем UniverSat — базовый модуль в стиле ViT, построенный на основе универсального кодировщика патчей, который отображает патчи произвольного пространственного, спектрального и временного разрешения, как с оптических, так и с неоптических датчиков, в общее пространство вложений с общим набором весов. Это позволяет обучать единую модель на гетерогенных мультимодальных корпусах данных с помощью самоконтроля, получая устойчивые, не зависящие от датчика пространственные признаки. Мы подтверждаем эффективность подхода высокими результатами в задачах классификации и сегментации на стандартных эталонных тестах НО из GeoBench, PANGEABench и SpectralEarth. Наш код и модели доступны по адресу https://github.com/gastruc/UniverSat.

English

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.