Затерянные в складках: когда перекрестная проверка не является глубоким ансамблем для оценки неопределенности

Аннотация

Разногласие ансамбля широко используется как прокси для эпистемической неопределенности в сегментации медицинских изображений. На практике многие исследования формируют ансамбли с помощью K-блочной перекрестной проверки (CV), но называют их «глубокими ансамблями» (DE). Поскольку участники CV обучаются на разных подмножествах данных, их разногласие смешивает изменчивость, обусловленную инициализацией генератора случайных чисел, с эффектами, связанными с изменением набора данных, что может изменить интерпретацию неопределенности. Мы анализируем недавние исследования по неопределенности в сегментации и обнаруживаем, что несоответствия между терминологией и реализацией встречаются часто. Затем мы сравниваем стандартный ансамбль из 5-блочной CV с ансамблем DE из 5 участников (фиксированный обучающий набор, разные случайные начальные значения) при идентичных остальных конфигурациях на трех наборах данных для сегментации с несколькими экспертами, охватывающих три модальности. Мы оцениваем неопределенность с точки зрения калибровки, обнаружения ошибок, моделирования неоднозначности и устойчивости к сдвигу распределения. Ансамбли DE обеспечивают ту же точность сегментации, одновременно улучшая калибровку и обнаружение ошибок, тогда как ансамбли CV иногда сильнее коррелируют с межэкспертной вариабельностью на изученных наборах данных. Таким образом, построение ансамбля следует выбирать в соответствии с исследовательским вопросом: DE — для задач, ориентированных на надежность (например, выборочное перенаправление/обнаружение ошибок), а ансамбли CV — как прокси для неоднозначности. Мы предоставляем легковесную модификацию nnU-Net, позволяющую обучать DE в рамках стандартного конвейера.

English

Ensemble disagreement is widely used as a proxy for epistemic uncertainty in medical image segmentation. In practice, many studies form ensembles via K-fold cross-validation (CV), yet refer to them as ``deep ensembles'' (DE). Because CV members are trained on different data subsets, their disagreement mixes seed-driven variability with data-exposure effects, which can change how uncertainty should be interpreted. We audit recent segmentation uncertainty studies and find that terminology--implementation mismatches are common. We then compare a standard 5-fold CV ensemble to a 5-member DE (fixed training set, different random seeds) under otherwise identical configurations on three multi-rater segmentation datasets spanning three modalities. We evaluate uncertainty for calibration, failure detection, ambiguity modeling, and robustness under distribution shift. DE match segmentation accuracy while improving calibration and failure detection, whereas CV ensembles sometimes correlate more strongly with inter-rater variability on the studied datasets. Thus, ensemble construction should be chosen to match the research question: DE for reliability-oriented use (e.g., selective referral/failure detection) and CV ensembles as a proxy for ambiguity. We provide a lightweight nnU-Net modification enabling DE training within the default pipeline.