KD-OCT: Efficiënte Kennisdistillatie voor Klinisch-Graad Classificatie van Retinale OCT
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
Auteurs: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
Samenvatting
Leeftijdsgebonden maculadegeneratie (LMD) en aandoeningen gerelateerd aan choroidale neovascularisatie (CNV) zijn wereldwijd een belangrijke oorzaak van gezichtsverlies, waarbij optische coherentietomografie (OCT) een hoeksteen vormt voor vroege detectie en behandeling. De inzet van state-of-the-art deep learning-modellen zoals ConvNeXtV2-Large in klinische settings wordt echter belemmerd door hun rekenkundige eisen. Daarom is het wenselijk om efficiënte modellen te ontwikkelen die een hoge diagnostische prestaties behouden en tegelijkertijd real-time inzet mogelijk maken. In deze studie wordt een nieuw knowledge distillation-framework, genaamd KD-OCT, voorgesteld om een hoogpresterend ConvNeXtV2-Large teacher-model, versterkt met geavanceerde augmentaties, stochastic weight averaging en focal loss, te comprimeren tot een lichtgewicht EfficientNet-B2 student-model voor de classificatie van normale gevallen, drusen en CNV. KD-OCT past real-time distillatie toe met een gecombineerd verliesfunctie die een balans vindt tussen de overdracht van zachte kennis van de teacher en supervisie op basis van harde grondwaarheden. De effectiviteit van de voorgestelde methode wordt geëvalueerd op de dataset van het Noor Eye Hospital (NEH) met behulp van patient-level cross-validatie. Experimentele resultaten tonen aan dat KD-OCT vergelijkbare multi-scale of feature-fusion OCT-classificatiemodellen overtreft in de balans tussen efficiëntie en nauwkeurigheid, waarbij bijna de prestaties van het teacher-model worden bereikt met aanzienlijke verminderingen in modelgrootte en inferentietijd. Ondanks de compressie presteert het student-model beter dan de meeste bestaande frameworks, wat edge-implementatie voor LMD-screening vergemakkelijkt. Code is beschikbaar op https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.