U-Bench : Une compréhension approfondie d'U-Net à travers un benchmarking de 100 variantes

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

October 8, 2025

papers.authors: Fenghe Tang, Chengqi Dong, Wenxin Ma, Zikang Xu, Heqin Zhu, Zihang Jiang, Rongsheng Wang, Yuhao Wang, Chenxu Wu, Shaohua Kevin Zhou

cs.AI

papers.abstract

Au cours de la dernière décennie, U-Net a été l'architecture dominante dans la segmentation d'images médicales, conduisant au développement de milliers de variantes en forme de U. Malgré son adoption généralisée, il n'existe toujours pas de référence exhaustive pour évaluer systématiquement leurs performances et leur utilité, principalement en raison d'une validation statistique insuffisante et d'une considération limitée de l'efficacité et de la généralisation sur divers ensembles de données. Pour combler cette lacune, nous présentons U-Bench, la première référence à grande échelle et statistiquement rigoureuse qui évalue 100 variantes d'U-Net sur 28 ensembles de données et 10 modalités d'imagerie. Nos contributions sont triples : (1) Évaluation complète : U-Bench évalue les modèles selon trois dimensions clés : la robustesse statistique, la généralisation en zero-shot et l'efficacité computationnelle. Nous introduisons une nouvelle métrique, l'U-Score, qui capture conjointement le compromis performance-efficacité, offrant une perspective orientée déploiement sur les progrès des modèles. (2) Analyse systématique et guide de sélection des modèles : Nous résumons les principales conclusions de l'évaluation à grande échelle et analysons systématiquement l'impact des caractéristiques des ensembles de données et des paradigmes architecturaux sur les performances des modèles. Sur la base de ces insights, nous proposons un agent conseiller de modèles pour guider les chercheurs dans la sélection des modèles les plus adaptés à des ensembles de données et des tâches spécifiques. (3) Disponibilité publique : Nous fournissons tout le code, les modèles, les protocoles et les poids, permettant à la communauté de reproduire nos résultats et d'étendre la référence avec des méthodes futures. En résumé, U-Bench expose non seulement les lacunes des évaluations précédentes, mais établit également une base pour une référence équitable, reproductible et pertinente sur le plan pratique pour la prochaine décennie de modèles de segmentation basés sur U-Net. Le projet est accessible à l'adresse : https://fenghetan9.github.io/ubench. Le code est disponible à l'adresse : https://github.com/FengheTan9/U-Bench.

English

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.