UniverSat : Transformers agnostiques à la résolution et à la modalité pour l'Observation de la Terre

Résumé

Les Vision Transformers (ViT) dominent la vision par ordinateur. Cependant, leur dépendance à des projecteurs de patchs rigides entrave leur transfert vers l'Observation de la Terre (OT), où les modalités, échelles et résolutions d'entrée varient considérablement. Nous présentons UniverSat, une architecture de type ViT construite autour d'un encodeur de patchs universel qui projette des patchs provenant de résolutions spatiales, spectrales et temporelles arbitraires, ainsi que de capteurs optiques et non optiques, dans un espace d'embedding partagé avec un ensemble de poids commun. Cela permet d'entraîner un seul modèle sur des corpus multimodaux hétérogènes via l'auto-supervision, produisant des caractéristiques spatiales robustes et indépendantes du capteur. Nous validons cette approche avec des résultats solides en classification et segmentation sur des benchmarks standards d'OT provenant de GeoBench, PANGEABench et SpectralEarth. Notre code et nos modèles sont disponibles à l'adresse https://github.com/gastruc/UniverSat.

English

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.