KD-OCT: Distilación Eficiente de Conocimiento para la Clasificación Clínica de OCT Retiniana
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
Autores: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
Resumen
La degeneración macular asociada a la edad (DMAE) y las afecciones relacionadas con la neovascularización coroidea (NVC) son causas principales de pérdida de visión a nivel mundial, siendo la tomografía de coherencia óptica (OCT) una herramienta fundamental para su detección temprana y manejo. Sin embargo, el despliegue de modelos de aprendizaje profundo de vanguardia, como ConvNeXtV2-Large, en entornos clínicos se ve obstaculizado por sus elevadas demandas computacionales. Por lo tanto, es deseable desarrollar modelos eficientes que mantengan un alto rendimiento diagnóstico permitiendo su implementación en tiempo real. En este estudio, se propone un novedoso marco de destilación de conocimiento, denominado KD-OCT, para comprimir un modelo maestro de alto rendimiento ConvNeXtV2-Large —mejorado con aumentación de datos avanzada, promediado estocástico de pesos y pérdida focal— en un modelo estudiantil ligero EfficientNet-B2 para clasificar casos normales, con drusas y con NVC. KD-OCT emplea una destilación en tiempo real con una función de pérdida combinada que equilibra la transferencia de conocimiento blanda del maestro y la supervisión dura de las etiquetas reales. La efectividad del método propuesto se evalúa en el conjunto de datos del Hospital Oftalmológico Noor (NEH) utilizando validación cruzada a nivel de paciente. Los resultados experimentales demuestran que KD-OCT supera a clasificadores de OCT comparables basados en escalas múltiples o fusión de características en el equilibrio eficiencia-precisión, logrando un rendimiento cercano al del maestro con reducciones sustanciales en el tamaño del modelo y el tiempo de inferencia. A pesar de la compresión, el modelo estudiantil supera a la mayoría de los marcos existentes, facilitando el despliegue en dispositivos periféricos para el cribado de la DMAE. El código está disponible en https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.