Ninguém conhece o estado da arte dos Modelos de Fundação Geoespaciais.

Resumo

Modelos de Fundação Geoespaciais (GFMs, na sigla em inglês) foram propostos como backbones generalizáveis para resposta a desastres, mapeamento de cobertura do solo, monitoramento de segurança alimentar e outras tarefas de Observação da Terra de alto risco. No entanto, a literatura publicada sobre esses modelos não oferece a revisores ou usuários informações suficientes para determinar qual modelo se adequa a uma determinada tarefa. Argumentamos que ninguém sabe qual é o estado da arte atual em modelos de fundação geoespaciais. Os métodos podem ser úteis, mas a literatura sobre GFMs não padroniza avaliações, protocolos de treinamento e teste, pesos liberados ou controles de pré-treinamento de forma que permita compará-los ou classificá-los. Em uma auditoria de 152 artigos, encontramos 46 discordâncias entre artigos de pelo menos 10 pontos percentuais para o mesmo modelo, referência e protocolo; 94 dos 126 artigos com dados de pré-treinamento extraíveis utilizam uma configuração que nenhum outro artigo utiliza; e 39% dos artigos sobre GFMs não liberam pesos de modelo. Essa falta de padrões comunitários pode ser solucionada. Propomos seis expectativas concretas: liberação de pesos com licença nominal, avaliações centrais compartilhadas, anotações de linha de base copiadas versus reexecutadas, relato de variância, um arcabouço de avaliação compartilhado e controles de dados versus arquitetura versus algoritmo. Essas lacunas constituem uma falha de coordenação, não uma falha de nenhum laboratório individual; os autores deste artigo, como muitos outros na comunidade de GFMs, contribuíram para elas. Em vez de apenas criticar a comunidade, buscamos oferecer passos concretos rumo a um entendimento compartilhado de como inovar em GFMs.

English

Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.