UniverSat: Transformers agnósticos de resolución y modalidad para la observación de la Tierra

Resumen

Los Transformers de Visión (ViT) dominan la visión por computadora. Sin embargo, su dependencia de proyectores de parches rígidos dificulta su transferencia a la Observación de la Tierra (EO), donde las modalidades, escalas y resoluciones de entrada varían ampliamente. Presentamos UniverSat, una arquitectura tipo ViT construida alrededor de un Codificador Universal de Parches que mapea parches de resoluciones espaciales, espectrales y temporales arbitrarias, tanto de sensores ópticos como no ópticos, a un espacio de incrustación compartido con un conjunto de pesos común. Esto permite entrenar un único modelo en corpus multimodales heterogéneos mediante autosupervisión, obteniendo características espaciales robustas y agnósticas al sensor. Validamos este enfoque con resultados sólidos en clasificación y segmentación sobre benchmarks estándar de EO de GeoBench, PANGEABench y SpectralEarth. Nuestro código y modelos están disponibles en https://github.com/gastruc/UniverSat.

English

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.