U-Bench: Всестороннее понимание U-Net через бенчмаркинг 100 вариантов

U-Bench: A Comprehensive Understanding of U-Net through 100-Variant Benchmarking

October 8, 2025

Авторы: Fenghe Tang, Chengqi Dong, Wenxin Ma, Zikang Xu, Heqin Zhu, Zihang Jiang, Rongsheng Wang, Yuhao Wang, Chenxu Wu, Shaohua Kevin Zhou

cs.AI

Аннотация

За последнее десятилетие U-Net стала доминирующей архитектурой в сегментации медицинских изображений, что привело к разработке тысяч U-образных вариантов. Несмотря на широкое распространение, до сих пор отсутствует всеобъемлющий бенчмарк для систематической оценки их производительности и полезности, в основном из-за недостаточной статистической валидации и ограниченного учета эффективности и обобщаемости на различных наборах данных. Чтобы устранить этот пробел, мы представляем U-Bench — первый крупномасштабный, статистически строгий бенчмарк, который оценивает 100 вариантов U-Net на 28 наборах данных и 10 модальностях изображений. Наши вклады заключаются в следующем: (1) Всесторонняя оценка: U-Bench оценивает модели по трем ключевым направлениям: статистическая устойчивость, обобщение с нулевым обучением (zero-shot) и вычислительная эффективность. Мы вводим новый метрический показатель, U-Score, который совместно учитывает компромисс между производительностью и эффективностью, предлагая ориентированный на практическое применение взгляд на прогресс моделей. (2) Систематический анализ и рекомендации по выбору моделей: Мы обобщаем ключевые выводы из крупномасштабной оценки и систематически анализируем влияние характеристик наборов данных и архитектурных парадигм на производительность моделей. На основе этих инсайтов мы предлагаем агента-советника по моделям, который помогает исследователям выбирать наиболее подходящие модели для конкретных наборов данных и задач. (3) Открытая доступность: Мы предоставляем весь код, модели, протоколы и веса, что позволяет сообществу воспроизвести наши результаты и расширить бенчмарк будущими методами. В итоге, U-Bench не только выявляет пробелы в предыдущих оценках, но и закладывает основу для справедливого, воспроизводимого и практически значимого бенчмаркинга в следующем десятилетии моделей сегментации на основе U-Net. Проект доступен по адресу: https://fenghetan9.github.io/ubench. Код доступен по адресу: https://github.com/FengheTan9/U-Bench.

English

Over the past decade, U-Net has been the dominant architecture in medical image segmentation, leading to the development of thousands of U-shaped variants. Despite its widespread adoption, there is still no comprehensive benchmark to systematically evaluate their performance and utility, largely because of insufficient statistical validation and limited consideration of efficiency and generalization across diverse datasets. To bridge this gap, we present U-Bench, the first large-scale, statistically rigorous benchmark that evaluates 100 U-Net variants across 28 datasets and 10 imaging modalities. Our contributions are threefold: (1) Comprehensive Evaluation: U-Bench evaluates models along three key dimensions: statistical robustness, zero-shot generalization, and computational efficiency. We introduce a novel metric, U-Score, which jointly captures the performance-efficiency trade-off, offering a deployment-oriented perspective on model progress. (2) Systematic Analysis and Model Selection Guidance: We summarize key findings from the large-scale evaluation and systematically analyze the impact of dataset characteristics and architectural paradigms on model performance. Based on these insights, we propose a model advisor agent to guide researchers in selecting the most suitable models for specific datasets and tasks. (3) Public Availability: We provide all code, models, protocols, and weights, enabling the community to reproduce our results and extend the benchmark with future methods. In summary, U-Bench not only exposes gaps in previous evaluations but also establishes a foundation for fair, reproducible, and practically relevant benchmarking in the next decade of U-Net-based segmentation models. The project can be accessed at: https://fenghetan9.github.io/ubench. Code is available at: https://github.com/FengheTan9/U-Bench.