Никто не знает современного состояния геопространственных фундаментальных моделей.

Аннотация

Геопространственные фундаментальные модели (GFM) были предложены в качестве обобщаемых базовых архитектур для реагирования на катастрофы, картографирования земного покрова, мониторинга продовольственной безопасности и других ответственных задач наблюдения Земли. Однако опубликованные работы об этих моделях не предоставляют рецензентам или пользователям достаточной информации, чтобы определить, какая модель подходит для конкретной задачи. Мы утверждаем, что никто не знает, каков текущий передовой уровень в области геопространственных фундаментальных моделей. Методы могут быть полезны, но литература по GFM не стандартизирует оценки, протоколы обучения и тестирования, опубликованные веса или контроль предварительного обучения в достаточной степени, чтобы кто-либо мог их сравнивать или ранжировать. В ходе аудита 152 статей мы выявили 46 межстатейных расхождений как минимум на 10 пунктов для одной и той же модели, эталона и протокола; 94 из 126 статей с извлекаемыми данными предварительного обучения используют конфигурацию, которую не использует ни одна другая статья; и 39% статей по GFM не публикуют веса моделей. Это отсутствие общепринятых стандартов может быть решено. Мы предлагаем шесть конкретных требований: публикация весов с указанием лицензии, общие базовые оценки, аннотации базовых результатов (скопированных против повторно запущенных), отчетность о вариативности, единый общий набор инструментов для оценки, а также контроль данных, архитектуры и алгоритмов. Эти пробелы являются провалом координации, а не ошибкой какой-либо отдельной лаборатории; авторы данной статьи, как и многие другие в сообществе GFM, внесли в них свой вклад. Вместо того чтобы просто критиковать сообщество, мы стремимся предложить конкретные шаги к общему пониманию того, как создавать инновации в области GFM.

English

Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.