U-Bench: Ein umfassendes Verständnis von U-Net durch Benchmarking mit 100 Varianten

papers.abstract

Im letzten Jahrzehnt hat U-Net die dominierende Architektur in der medizinischen Bildsegmentierung dargestellt, was zur Entwicklung Tausender U-förmiger Varianten geführt hat. Trotz seiner weit verbreiteten Anwendung gibt es noch keinen umfassenden Benchmark, um ihre Leistung und Nützlichkeit systematisch zu bewerten, was größtenteils auf unzureichende statistische Validierung und begrenzte Berücksichtigung von Effizienz und Generalisierung über verschiedene Datensätze hinweg zurückzuführen ist. Um diese Lücke zu schließen, präsentieren wir U-Bench, den ersten groß angelegten, statistisch fundierten Benchmark, der 100 U-Net-Varianten über 28 Datensätze und 10 Bildgebungsmodalitäten hinweg evaluiert. Unsere Beiträge sind dreifach: (1) Umfassende Evaluation: U-Bench bewertet Modelle entlang drei Schlüsseldimensionen: statistische Robustheit, Zero-Shot-Generalisierung und Recheneffizienz. Wir führen eine neue Metrik, den U-Score, ein, der den Leistungs-Effizienz-Kompromiss gemeinsam erfasst und eine einsatzorientierte Perspektive auf den Modellfortschritt bietet. (2) Systematische Analyse und Modellauswahlhilfe: Wir fassen die wichtigsten Erkenntnisse aus der groß angelegten Evaluation zusammen und analysieren systematisch den Einfluss von Datensatzmerkmalen und architektonischen Paradigmen auf die Modellleistung. Basierend auf diesen Erkenntnissen schlagen wir einen Modellberater-Agenten vor, der Forscher bei der Auswahl der am besten geeigneten Modelle für spezifische Datensätze und Aufgaben unterstützt. (3) Öffentliche Verfügbarkeit: Wir stellen allen Code, Modelle, Protokolle und Gewichte zur Verfügung, wodurch die Gemeinschaft unsere Ergebnisse reproduzieren und den Benchmark mit zukünftigen Methoden erweitern kann. Zusammenfassend deckt U-Bench nicht nur Lücken in früheren Evaluationen auf, sondern legt auch eine Grundlage für faire, reproduzierbare und praktisch relevante Benchmarking in den nächsten zehn Jahren U-Net-basierter Segmentierungsmodelle. Das Projekt ist zugänglich unter: https://fenghetan9.github.io/ubench. Der Code ist verfügbar unter: https://github.com/FengheTan9/U-Bench.

English

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.

U-Bench: Ein umfassendes Verständnis von U-Net durch Benchmarking mit 100 Varianten

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

papers.abstract

Support