UniverSat: Transformadores Agnósticos a Resolução e Modalidade para Observação da Terra

Resumo

Os Transformadores de Visão (ViT) dominam a visão computacional. No entanto, sua dependência de projetores de patches rígidos dificulta a transferência para a Observação da Terra (OT), onde as modalidades, escalas e resoluções de entrada variam amplamente. Apresentamos o UniverSat, uma arquitetura baseada em ViT construída em torno de um Codificador de Patches Universal que mapeia patches de resoluções espaciais, espectrais e temporais arbitrárias, tanto de sensores ópticos quanto não ópticos, em um espaço de embeddings compartilhado com um conjunto compartilhado de pesos. Isso permite treinar um único modelo em corpora multimodais heterogêneos por meio de autossupervisão, gerando características espaciais robustas e agnósticas ao sensor. Validamos essa abordagem com resultados expressivos em classificação e segmentação nos benchmarks padrão de OT do GeoBench, PANGEABench e SpectralEarth. Nosso código e modelos estão disponíveis em https://github.com/gastruc/UniverSat.

English

Vision Transformers (ViT) dominate computer vision. However, their reliance on rigid patch projectors hinders transfer to Earth Observation (EO), where input modalities, scales, and resolutions vary widely. We introduce UniverSat, a ViT-style backbone built around a Universal Patch Encoder that maps patches from arbitrary spatial, spectral, and temporal resolutions, and from both optical and non-optical sensors, into a shared embedding space with a shared set of weights. This enables training a single model on heterogeneous multimodal corpora via self-supervision, yielding robust, sensor-agnostic spatial features. We validate this approach with strong results across classification and segmentation on standard EO benchmarks from GeoBench, PANGEABench, and SpectralEarth. Our code and models are available at https://github.com/gastruc/UniverSat.