Cryo-Bench: Het benchmarken van foundationmodellen voor cryosfeertoepassingen

Cryo-Bench: Benchmarking Foundation Models for Cryosphere Applications

March 2, 2026

Auteurs: Saurabh Kaushik, Lalit Maurya, Beth Tellman

cs.AI

Samenvatting

Geo-Foundation Models (GFM's) zijn geëvalueerd voor uiteenlopende aardobservatietaken, waaronder meerdere domeinen, en hebben een sterk potentieel getoond voor het produceren van betrouwbare kaarten, zelfs met schaarse labels. Het benchmarken van GFM's voor cryosfeertoepassingen is echter beperkt gebleven, voornamelijk door een gebrek aan geschikte evaluatiedatasets. Om deze leemte op te vullen, introduceren we Cryo-Bench, een benchmark samengesteld om de prestaties van GFM's voor belangrijke cryosfeercomponenten te evalueren. Cryo-Bench omvat met puin bedekte gletsjers, gletsjermeren, zee-ijs en afkalvingsfronten, verspreid over meerdere sensoren en brede geografische regio's. We evalueren 14 GFM's naast UNet- en ViT-baselines om hun voordelen, beperkingen en optimale gebruikersstrategieën te beoordelen. Met een bevroren encoder behaalt UNet het hoogste gemiddelde mIoU van 66,38, gevolgd door TerraMind met 64,02 over de vijf evaluatiedatasets in Cryo-Bench. In een few-shot setting (10% van de invoergegevens) presteren GFM's zoals DOFA en TerraMind beter dan UNet, met mIoU-scores van respectievelijk 59,53, 56,62 en 56,60, vergeleken met 56,60 voor U-Net. Bij volledig finetunen van GFM's observeren we inconsistente prestaties tussen datasets en modellen. Het afstemmen van de leer-snelheid in combinatie met finetunen verbetert de GFM-prestaties echter aanzienlijk. Evaluatie op twee representatieve datasets (GLID en CaFFe) toont bijvoorbeeld een gemiddelde relatieve verbetering van 12,77%. Ondanks minimale representatie van de cryosfeer in hun pre-trainingsdata, vertonen GFM's opmerkelijke domeinaanpassingscapaciteiten en produceren ze zinvolle resultaten voor verschillende taken. Op basis van onze bevindingen bevelen we encoder-finetuning aan met hyperparameteroptimalisatie om de best mogelijke prestaties te bereiken, terwijl bevroren encoders gebruikt kunnen worden wanneer gebruikers snelle resultaten nodig hebben zonder uitgebreide experimenten (https://github.com/Sk-2103/Cryo-Bench{GitHub}).

English

Geo-Foundation Models (GFMs) have been evaluated across diverse Earth observation task including multiple domains and have demonstrated strong potential of producing reliable maps even with sparse labels. However, benchmarking GFMs for Cryosphere applications has remained limited, primarily due to the lack of suitable evaluation datasets. To address this gap, we introduce Cryo-Bench, a benchmark compiled to evaluate GFM performance across key Cryospheric components. Cryo-Bench includes debris-covered glaciers, glacial lakes, sea ice, and calving fronts, spanning multiple sensors and broad geographic regions. We evaluate 14 GFMs alongside UNet and ViT baselines to assess their advantages, limitations, and optimal usage strategies. With a frozen encoder, UNet achieves the highest average mIoU of 66.38, followed by TerraMind at 64.02 across five evluation dataset included in Cryo-Bench. In the few-shot setting (10\% input data), GFMs such as DOFA and TerraMind outperform UNet, achieving mIoU scores of 59.53, 56.62, and 56.60, respectively, comapred to U-Net's 56.60. When fully finetuning GFMs, we observe inconsistent performance across datasets and models. However, tuning learning rate along with finetuning substantially improves GFM performance. For example, evaluation on two representative datasets (GLID and CaFFe) shows an average relative improvement of 12.77\%. Despite having minimal Cryosphere representation in their pretraining data, GFMs exhibit notable domain adaptation capabilities and produce meaningful results across tasks. Based on our findings, We recommend encoder fine-tuning with hyperparameter optimization optimization to achieve the best possible performance, while using frozen encoders when users need quick results without extensive experimentation.(https://github.com/Sk-2103/Cryo-Bench{GitHub}).