KD-OCT : Distillation de connaissances efficace pour la classification clinique des tomographies par cohérence optique (OCT) rétiniennes
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
papers.authors: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
papers.abstract
La dégénérescence maculaire liée à l'âge (DMLA) et les pathologies associées à la néovascularisation choroïdienne (NVC) sont des causes majeures de perte de vision dans le monde, la tomographie par cohérence optique (OCT) servant de pierre angulaire pour leur détection précoce et leur prise en charge. Cependant, le déploiement en milieu clinique de modèles d'apprentissage profond de pointe, comme ConvNeXtV2-Large, est entravé par leurs exigences computationnelles. Il est donc souhaitable de développer des modèles efficaces qui maintiennent des performances diagnostiques élevées tout en permettant un déploiement en temps réel. Dans cette étude, un nouveau cadre de distillation des connaissances, nommé KD-OCT, est proposé pour comprimer un modèle enseignant performant de type ConvNeXtV2-Large, amélioré par des augmentations avancées, une moyenne stochastique des poids et une perte focale, en un modèle étudiant léger de type EfficientNet-B2, destiné à classer les cas normaux, les drusen et les NVC. KD-OCT utilise une distillation en temps réel avec une fonction de perte combinée qui équilibre le transfert de connaissances doux de l'enseignant et la supervision dure des vérités terrain. L'efficacité de la méthode proposée est évaluée sur l'ensemble de données de l'Hôpital Ophtalmologique Noor (NEH) en utilisant une validation croisée au niveau du patient. Les résultats expérimentaux démontrent que KD-OCT surpasse les classificateurs OCT comparables à base de fusion multi-échelle ou de caractéristiques en termes d'équilibre entre l'efficacité et la précision, atteignant des performances proches de celles du modèle enseignant avec des réductions substantielles de la taille du modèle et du temps d'inférence. Malgré la compression, le modèle étudiant dépasse la plupart des cadres existants, facilitant le déploiement en périphérie pour le dépistage de la DMLA. Le code est disponible à l'adresse https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.