KD-OCT: Distillazione Efficiente della Conoscenza per la Classifica Clinica delle OCT Retiniche
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
Autori: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
Abstract
La degenerazione maculare legata all'età (DMLE) e le condizioni correlate alla neovascolarizzazione coroidale (CNV) sono tra le principali cause di perdita della vista a livello mondiale, e la tomografia a coerenza ottica (OCT) rappresenta uno strumento fondamentale per la loro diagnosi precoce e gestione. Tuttavia, la distribuzione in ambito clinico di modelli di deep learning all'avanguardia, come ConvNeXtV2-Large, è ostacolata dalle loro elevate esigenze computazionali. Pertanto, è auspicabile sviluppare modelli efficienti che mantengano elevate prestazioni diagnostiche consentendo al contempo una distribuzione in tempo reale. In questo studio, viene proposto un nuovo framework di distillazione della conoscenza, denominato KD-OCT, per comprimere un modello insegnante ad alte prestazioni ConvNeXtV2-Large, potenziato con tecniche avanzate di data augmentation, stochastic weight averaging e focal loss, in uno studente leggero EfficientNet-B2, finalizzato alla classificazione di casi normali, con drusen e con CNV. KD-OCT utilizza una distillazione in tempo reale con una funzione di perdita combinata che bilancia il trasferimento della conoscenza "soft" dall'insegnante e la supervisione "hard" delle ground-truth. L'efficacia del metodo proposto è valutata sul dataset del Noor Eye Hospital (NEH) utilizzando una cross-validazione a livello paziente. I risultati sperimentali dimostrano che KD-OCT supera classificatori OCT comparabili basati su approcci multi-scala o di fusione di feature nel bilanciamento efficienza-precisione, raggiungendo prestazioni vicine a quelle del modello insegnante con riduzioni sostanziali delle dimensioni del modello e del tempo di inferenza. Nonostante la compressione, il modello studente supera la maggior parte dei framework esistenti, facilitando la distribuzione su dispositivi edge per lo screening della DMLE. Il codice è disponibile all'indirizzo https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.