Niemand kennt den Stand der Technik bei Geospatial Foundation Models.

Zusammenfassung

Georäumliche Foundation-Modelle (GFMs) wurden als generalisierbare Grundstrukturen für Katastrophenhilfe, Landbedeckungskartierung, Überwachung der Ernährungssicherheit und andere risikoreiche Erdbeobachtungsaufgaben vorgeschlagen. Die veröffentlichte Literatur zu diesen Modellen liefert Gutachtern oder Nutzern jedoch nicht genügend Informationen, um zu beurteilen, welches Modell für eine bestimmte Aufgabe geeignet ist. Wir argumentieren, dass niemand den aktuellen Stand der Technik bei georäumlichen Foundation-Modellen kennt. Die Methoden mögen nützlich sein, aber die GFM-Literatur standardisiert Evaluierungen, Trainings- und Testprotokolle, veröffentlichte Gewichte und Vortrainingskontrollen nicht ausreichend, um eine Vergleichbarkeit oder Rangfolge zu ermöglichen. In einer Überprüfung von 152 Artikeln fanden wir 46 papierübergreifende Abweichungen von mindestens 10 Punkten für dasselbe Modell, denselben Benchmark und dasselbe Protokoll; 94 von 126 Artikeln mit extrahierbaren Vortrainingsdaten verwenden eine Konfiguration, die in keinem anderen Artikel vorkommt; und 39 % der GFM-Papiere veröffentlichen keine Modellgewichte. Dieser Mangel an gemeinschaftlichen Standards ist lösbar. Wir schlagen sechs konkrete Erwartungen vor: Veröffentlichung von Gewichten mit benannter Lizenz, gemeinsame Kernbewertungen, Annotationen von kopierten gegenüber neu durchgeführten Basislinien, Angabe der Varianz, eine gemeinsame Bewertungsplattform sowie Kontrollen für Daten, Architektur und Algorithmus. Diese Lücken sind ein Koordinationsversagen, nicht die Schuld eines einzelnen Labors; die Autoren dieses Artikels haben – wie viele andere in der GFM-Gemeinschaft – dazu beigetragen. Statt die Gemeinschaft lediglich zu kritisieren, möchten wir konkrete Schritte hin zu einem gemeinsamen Verständnis aufzeigen, wie GFMs innoviert werden können.

English

Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.