Personne ne connaît l'état de l'art des modèles de fondation géospatiaux.

Résumé

Les modèles fondation géospatiaux (GFMs) ont été proposés comme backbones généralisables pour la réponse aux catastrophes, la cartographie de l'occupation des sols, la surveillance de la sécurité alimentaire et d'autres tâches d'observation de la Terre à enjeux élevés. Cependant, les travaux publiés sur ces modèles ne fournissent pas aux relecteurs ou aux utilisateurs suffisamment d'informations pour déterminer quel modèle convient à une tâche donnée. Nous soutenons que personne ne connaît l'état actuel de l'art en matière de modèles fondation géospatiaux. Les méthodes peuvent être utiles, mais la littérature sur les GFM ne standardise pas suffisamment les évaluations, les protocoles d'entraînement et de test, les poids publiés, ni les contrôles de pré-entraînement pour permettre de les comparer ou de les classer. Dans un audit portant sur 152 articles, nous relevons 46 désaccords entre articles d'au moins 10 points pour un même modèle, une même référence et un même protocole ; 94 articles sur 126 dont les données de pré-entraînement sont extractibles utilisent une configuration qu'aucun autre article n'emploie ; et 39 % des articles sur les GFM ne publient aucun poids de modèle. Ce manque de normes communautaires peut être résolu. Nous proposons six attentes concrètes : publication des poids avec licence nommée, évaluations centrales partagées, annotations de référence « copiées » versus « réexécutées », rapport de variance, un seul harnais d'évaluation partagé, et contrôles entre données, architecture et algorithme. Ces lacunes relèvent d'un échec de coordination, et non d'une faute d'un laboratoire en particulier ; les auteurs de cet article, comme beaucoup d'autres dans la communauté des GFM, y ont contribué. Plutôt que de simplement critiquer la communauté, nous visons à fournir des étapes concrètes vers une compréhension partagée de la manière d'innover dans les GFM.

English

Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.