Niemand kent de state of the art van geospatiale funderingsmodellen

Samenvatting

Geospatiale funderingsmodellen (GFM's) zijn voorgesteld als generaliseerbare ruggengraten voor rampenbestrijding, landbedekkingskartering, voedselzekerheidsmonitoring en andere hoogstaande aardobservatietaken. Toch biedt de gepubliceerde literatuur over deze modellen beoordelaars of gebruikers onvoldoende informatie om te bepalen welk model geschikt is voor een specifieke taak. Wij stellen dat niemand weet wat de huidige stand der techniek is op het gebied van geospatiale funderingsmodellen. De methoden kunnen nuttig zijn, maar de GFM-literatuur standaardiseert evaluaties, trainings- en testprotocollen, vrijgegeven gewichten of pretrainingscontroles niet voldoende om modellen te kunnen vergelijken of rangschikken. In een audit van 152 papers vinden wij 46 cross-paper meningsverschillen van ten minste 10 punten voor hetzelfde model, dezelfde benchmark en hetzelfde protocol; 94 van de 126 papers met extraheerbare pretrainingsdata gebruiken een configuratie die geen enkel ander paper gebruikt; en 39% van de GFM-papers geeft geen modelgewichten vrij. Dit gebrek aan gemeenschapsnormen kan worden opgelost. Wij stellen zes concrete verwachtingen voor: vrijgave van gewichten onder een benoemde licentie, gedeelde kernevaluaties, annotaties van overgenomen versus heruitgevoerde baselines, variantierapportage, één gedeeld evaluatiekader, en controles voor data versus architectuur versus algoritme. Deze lacunes zijn een coördinatiefalen, niet de schuld van één enkel laboratorium; de auteurs van dit paper hebben er, net als vele anderen in de GFM-gemeenschap, aan bijgedragen. In plaats van alleen kritiek te leveren op de gemeenschap, willen wij concrete stappen bieden naar een gedeeld begrip van hoe GFM's te innoveren.

English

Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.