U-Bench: Een Diepgaand Inzicht in U-Net via Benchmarking met 100 Varianten

Samenvatting

In het afgelopen decennium is U-Net de dominante architectuur geweest voor medische beeldsegmentatie, wat heeft geleid tot de ontwikkeling van duizenden U-vormige varianten. Ondanks de brede adoptie ontbreekt nog steeds een uitgebreide benchmark om hun prestaties en nut systematisch te evalueren, voornamelijk vanwege onvoldoende statistische validatie en beperkte aandacht voor efficiëntie en generalisatie over diverse datasets. Om deze kloof te overbruggen, presenteren we U-Bench, de eerste grootschalige, statistisch rigoureuze benchmark die 100 U-Net-varianten evalueert over 28 datasets en 10 beeldvormingsmodaliteiten. Onze bijdragen zijn drievoudig: (1) Uitgebreide Evaluatie: U-Bench evalueert modellen langs drie belangrijke dimensies: statistische robuustheid, zero-shot generalisatie en computationele efficiëntie. We introduceren een nieuwe metriek, U-Score, die de prestatie-efficiëntie-afweging gezamenlijk vastlegt en een implementatiegericht perspectief biedt op modelvooruitgang. (2) Systematische Analyse en Modelselectiebegeleiding: We vatten de belangrijkste bevindingen van de grootschalige evaluatie samen en analyseren systematisch de impact van datasetkenmerken en architecturale paradigma's op modelprestaties. Op basis van deze inzichten stellen we een modeladviseur voor om onderzoekers te begeleiden bij het selecteren van de meest geschikte modellen voor specifieke datasets en taken. (3) Publieke Beschikbaarheid: We bieden alle code, modellen, protocollen en gewichten aan, waardoor de gemeenschap onze resultaten kan reproduceren en de benchmark kan uitbreiden met toekomstige methoden. Samengevat legt U-Bench niet alleen tekortkomingen in eerdere evaluaties bloot, maar legt het ook een basis voor eerlijke, reproduceerbare en praktisch relevante benchmarking in het komende decennium van U-Net-gebaseerde segmentatiemodellen. Het project is toegankelijk via: https://fenghetan9.github.io/ubench. Code is beschikbaar op: https://github.com/FengheTan9/U-Bench.

English

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.

U-Bench: Een Diepgaand Inzicht in U-Net via Benchmarking met 100 Varianten

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

Samenvatting

Support