Verloren in den Falten: Wenn Kreuzvalidierung kein tiefes Ensemble für Unsicherheitsschätzung ist

Zusammenfassung

Die Ensemble-Diskrepanz wird häufig als Stellvertreter für epistemische Unsicherheit in der medizinischen Bildsegmentierung verwendet. In der Praxis bilden viele Studien Ensembles mittels K-facher Kreuzvalidierung (CV), bezeichnen sie jedoch als „Deep Ensembles“ (DE). Da CV-Mitglieder auf unterschiedlichen Datenuntergruppen trainiert werden, vermischt ihre Diskrepanz saatbedingte Variabilität mit Datenexpositionseffekten, was die Interpretation der Unsicherheit verändern kann. Wir prüfen aktuelle Studien zur Segmentierungsunsicherheit und stellen fest, dass Nichtübereinstimmungen zwischen Terminologie und Implementierung häufig vorkommen. Anschließend vergleichen wir ein standardmäßiges 5-fach-CV-Ensemble mit einem 5-köpfigen DE (fester Trainingssatz, unterschiedliche Zufalls-Seeds) unter ansonsten identischen Konfigurationen an drei Datensätzen mit mehreren Bewertern über drei Modalitäten hinweg. Wir bewerten die Unsicherheit hinsichtlich Kalibrierung, Fehlererkennung, Ambiguitätsmodellierung und Robustheit unter Verteilungsverschiebung. DE erreichen die gleiche Segmentierungsgenauigkeit, verbessern jedoch Kalibrierung und Fehlererkennung, während CV-Ensembles in den untersuchten Datensätzen manchmal stärker mit der Inter-Rater-Variabilität korrelieren. Daher sollte die Ensemble-Konstruktion je nach Forschungsfrage gewählt werden: DE für zuverlässigkeitsorientierte Anwendungen (z. B. selektive Überweisung/Fehlererkennung) und CV-Ensembles als Stellvertreter für Ambiguität. Wir bieten eine leichte Modifikation von nnU-Net, die DE-Training innerhalb der Standard-Pipeline ermöglicht.

English

Ensemble disagreement is widely used as a proxy for epistemic uncertainty in medical image segmentation. In practice, many studies form ensembles via K-fold cross-validation (CV), yet refer to them as ``deep ensembles'' (DE). Because CV members are trained on different data subsets, their disagreement mixes seed-driven variability with data-exposure effects, which can change how uncertainty should be interpreted. We audit recent segmentation uncertainty studies and find that terminology--implementation mismatches are common. We then compare a standard 5-fold CV ensemble to a 5-member DE (fixed training set, different random seeds) under otherwise identical configurations on three multi-rater segmentation datasets spanning three modalities. We evaluate uncertainty for calibration, failure detection, ambiguity modeling, and robustness under distribution shift. DE match segmentation accuracy while improving calibration and failure detection, whereas CV ensembles sometimes correlate more strongly with inter-rater variability on the studied datasets. Thus, ensemble construction should be chosen to match the research question: DE for reliability-oriented use (e.g., selective referral/failure detection) and CV ensembles as a proxy for ambiguity. We provide a lightweight nnU-Net modification enabling DE training within the default pipeline.