Cryo-Bench: Valutazione dei Modelli di Base per le Applicazioni nella Criosfera

Cryo-Bench: Benchmarking Foundation Models for Cryosphere Applications

March 2, 2026

Autori: Saurabh Kaushik, Lalit Maurya, Beth Tellman

cs.AI

Abstract

I modelli Geo-Fondamentali (GMF) sono stati valutati su una vasta gamma di compiti di osservazione della Terra, inclusi molteplici domini, e hanno dimostrato un forte potenziale nel produrre mappe affidabili anche con etichette ridotte. Tuttavia, il benchmarking dei GMF per applicazioni criosferiche è rimasto limitato, principalmente a causa della mancanza di dataset di valutazione adeguati. Per colmare questa lacuna, introduciamo Cryo-Bench, un benchmark creato per valutare le prestazioni dei GMF su componenti criosferiche chiave. Cryo-Bench include ghiacciai detritici-ricoperti, laghi glaciali, ghiaccio marino e fronti di distacco, coprendo molteplici sensori e ampie regioni geografiche. Valutiamo 14 GMF insieme a baseline UNet e ViT per valutarne vantaggi, limiti e strategie d'uso ottimali. Con un encoder congelato, UNet raggiunge il mIoU medio più alto del 66,38%, seguito da TerraMind al 64,02% sui cinque dataset di valutazione inclusi in Cryo-Bench. In uno scenario few-shot (10% dei dati di input), GMF come DOFA e TerraMind superano UNet, raggiungendo punteggi mIoU rispettivamente di 59,53, 56,62 e 56,60, contro il 56,60 di U-Net. Quando si effettua il fine-tuning completo dei GMF, si osserva una performance disomogenea tra dataset e modelli. Tuttavia, l'ottimizzazione del tasso di apprendimento insieme al fine-tuning migliora sostanzialmente le prestazioni dei GMF. Ad esempio, la valutazione su due dataset rappresentativi (GLID e CaFFe) mostra un miglioramento relativo medio del 12,77%. Nonostante la rappresentazione minima della Criosfera nei loro dati di pre-addestramento, i GMF mostrano notevoli capacità di adattamento al dominio e producono risultati significativi tra i vari compiti. Sulla base dei nostri risultati, raccomandiamo il fine-tuning dell'encoder con l'ottimizzazione degli iperparametri per ottenere le migliori prestazioni possibili, utilizzando encoder congelati quando gli utenti necessitano di risultati rapidi senza sperimentazioni estese (https://github.com/Sk-2103/Cryo-Bench{GitHub}).

English

Geo-Foundation Models (GFMs) have been evaluated across diverse Earth observation task including multiple domains and have demonstrated strong potential of producing reliable maps even with sparse labels. However, benchmarking GFMs for Cryosphere applications has remained limited, primarily due to the lack of suitable evaluation datasets. To address this gap, we introduce Cryo-Bench, a benchmark compiled to evaluate GFM performance across key Cryospheric components. Cryo-Bench includes debris-covered glaciers, glacial lakes, sea ice, and calving fronts, spanning multiple sensors and broad geographic regions. We evaluate 14 GFMs alongside UNet and ViT baselines to assess their advantages, limitations, and optimal usage strategies. With a frozen encoder, UNet achieves the highest average mIoU of 66.38, followed by TerraMind at 64.02 across five evluation dataset included in Cryo-Bench. In the few-shot setting (10\% input data), GFMs such as DOFA and TerraMind outperform UNet, achieving mIoU scores of 59.53, 56.62, and 56.60, respectively, comapred to U-Net's 56.60. When fully finetuning GFMs, we observe inconsistent performance across datasets and models. However, tuning learning rate along with finetuning substantially improves GFM performance. For example, evaluation on two representative datasets (GLID and CaFFe) shows an average relative improvement of 12.77\%. Despite having minimal Cryosphere representation in their pretraining data, GFMs exhibit notable domain adaptation capabilities and produce meaningful results across tasks. Based on our findings, We recommend encoder fine-tuning with hyperparameter optimization optimization to achieve the best possible performance, while using frozen encoders when users need quick results without extensive experimentation.(https://github.com/Sk-2103/Cryo-Bench{GitHub}).