U-Bench: Una Comprensione Completa di U-Net Attraverso un Benchmark di 100 Varianti

Abstract

Nel corso dell'ultimo decennio, U-Net è stata l'architettura dominante nella segmentazione di immagini mediche, portando allo sviluppo di migliaia di varianti a forma di U. Nonostante la sua ampia adozione, manca ancora un benchmark completo per valutare sistematicamente le loro prestazioni e utilità, principalmente a causa di una validazione statistica insufficiente e di una considerazione limitata dell'efficienza e della generalizzazione su diversi dataset. Per colmare questa lacuna, presentiamo U-Bench, il primo benchmark su larga scala e statisticamente rigoroso che valuta 100 varianti di U-Net su 28 dataset e 10 modalità di imaging. I nostri contributi sono tre: (1) Valutazione Completa: U-Bench valuta i modelli lungo tre dimensioni chiave: robustezza statistica, generalizzazione zero-shot ed efficienza computazionale. Introduciamo una nuova metrica, U-Score, che cattura congiuntamente il compromesso tra prestazioni ed efficienza, offrendo una prospettiva orientata al deployment sul progresso dei modelli. (2) Analisi Sistematica e Guida alla Selezione dei Modelli: Riassumiamo i principali risultati della valutazione su larga scala e analizziamo sistematicamente l'impatto delle caratteristiche dei dataset e dei paradigmi architetturali sulle prestazioni dei modelli. Sulla base di queste intuizioni, proponiamo un agente consulente per guidare i ricercatori nella selezione dei modelli più adatti per specifici dataset e task. (3) Disponibilità Pubblica: Forniamo tutto il codice, i modelli, i protocolli e i pesi, consentendo alla comunità di riprodurre i nostri risultati e di estendere il benchmark con metodi futuri. In sintesi, U-Bench non solo evidenzia le lacune nelle valutazioni precedenti, ma stabilisce anche una base per un benchmarking equo, riproducibile e praticamente rilevante nel prossimo decennio dei modelli di segmentazione basati su U-Net. Il progetto è accessibile all'indirizzo: https://fenghetan9.github.io/ubench. Il codice è disponibile all'indirizzo: https://github.com/FengheTan9/U-Bench.

English

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.

U-Bench: Una Comprensione Completa di U-Net Attraverso un Benchmark di 100 Varianti

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

Abstract

Support