UniverSat: Resolutie- en modaliteitsagnostische Transformers voor Aardobservatie

Samenvatting

Vision Transformers (ViT) domineren de computer visie. Hun afhankelijkheid van starre patchprojectoren belemmert echter de overdracht naar aardobservatie (AO), waar invoermodaliteiten, schalen en resoluties sterk variëren. We introduceren UniverSat, een ViT-achtige backbone gebouwd rond een Universele Patch-Encoder die patches van willekeurige ruimtelijke, spectrale en temporele resoluties, en van zowel optische als niet-optische sensoren, met een gedeelde set gewichten in een gedeelde inbeddingsruimte projecteert. Dit maakt het mogelijk om een enkel model te trainen op heterogene multimodale corpora via zelfsupervisie, wat robuuste, sensor-agnostische ruimtelijke kenmerken oplevert. We valideren deze aanpak met sterke resultaten voor classificatie en segmentatie op standaard AO-benchmarks van GeoBench, PANGEABench en SpectralEarth. Onze code en modellen zijn beschikbaar op https://github.com/gastruc/UniverSat.

English

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.