KD-OCT: Effiziente Wissensdistillation für die klinische Klassifikation von retinalen OCT-Aufnahmen
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
papers.authors: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
papers.abstract
Altersbedingte Makuladegeneration (AMD) und Erkrankungen im Zusammenhang mit choroidaler Neovaskularisation (CNV) sind weltweit führende Ursachen für Sehverlust, wobei die optische Kohärenztomographie (OCT) als Eckpfeiler für die Früherkennung und Behandlung dient. Der Einsatz modernster Deep-Learning-Modelle wie ConvNeXtV2-Large in klinischen Umgebungen wird jedoch durch deren hohen Rechenbedarf erschwert. Daher ist es wünschenswert, effiziente Modelle zu entwickeln, die eine hohe diagnostische Leistung beibehalten und gleichzeitig einen Echtzeiteinsatz ermöglichen. In dieser Studie wird ein neuartiges Knowledge-Distillation-Framework, bezeichnet als KD-OCT, vorgeschlagen, um ein leistungsstarkes ConvNeXtV2-Large-Lehrermodell – angereichert mit erweiterten Augmentierungen, Stochastic Weight Averaging und Focal Loss – in ein leichtgewichtiges EfficientNet-B2-Schülermodell zu komprimieren, um normale Fälle, Drusen und CNV-Fälle zu klassifizieren. KD-OCT nutzt Echtzeit-Distillation mit einem kombinierten Loss, der den Transfer des weichen Lehrerwissens und die harte Ground-Truth-Überwachung ausbalanciert. Die Wirksamkeit der vorgeschlagenen Methode wird auf dem Noor Eye Hospital (NEH)-Datensatz mittels patientenspezifischer Kreuzvalidierung evaluiert. Experimentelle Ergebnisse zeigen, dass KD-OCT vergleichbare OCT-Klassifikatoren mit Multi-Scale- oder Feature-Fusion-Ansätzen in der Balance zwischen Effizienz und Genauigkeit übertrifft und eine dem Lehrermodell nahekommende Leistung bei erheblich reduzierter Modellgröße und Inferenzzeit erzielt. Trotz der Kompression übertrifft das Schülermodell die meisten existierenden Frameworks und erleichtert so den Edge-Einsatz für das AMD-Screening. Der Code ist verfügbar unter https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.