KD-OCT: Distilação Eficiente de Conhecimento para Classificação Clínica de OCT da Retina

KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification

December 9, 2025

Autores: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh

cs.AI

Resumo

A degeneração macular relacionada à idade (DMRI) e as condições associadas à neovascularização coroidal (NVC) estão entre as principais causas de perda de visão em todo o mundo, sendo a tomografia de coerência óptica (OCT) uma ferramenta fundamental para a detecção precoce e o manejo. No entanto, a implantação de modelos de aprendizagem profunda de última geração, como o ConvNeXtV2-Large, em ambientes clínicos é dificultada pelas suas exigências computacionais. Portanto, é desejável desenvolver modelos eficientes que mantenham alto desempenho diagnóstico, permitindo ao mesmo tempo a implantação em tempo real. Neste estudo, é proposto um novo framework de destilação de conhecimento, denominado KD-OCT, para comprimir um modelo professor de alto desempenho ConvNeXtV2-Large, aprimorado com técnicas avançadas de aumento de dados, média móvel de pesos estocástica e função de perda focal, em um modelo estudante leve EfficientNet-B2, para classificar casos normais, com drusas e com NVC. O KD-OCT emprega destilação em tempo real com uma função de perda combinada que equilibra a transferência do conhecimento suave do professor e a supervisão direta das anotações de referência. A eficácia do método proposto é avaliada no conjunto de dados do Hospital Oftalmológico Noor (NEH) usando validação cruzada a nível de paciente. Os resultados experimentais demonstram que o KD-OCT supera classificadores de OCT comparáveis baseados em fusão de características ou escalas múltiplas no equilíbrio entre eficiência e precisão, alcançando um desempenho próximo ao do modelo professor com reduções substanciais no tamanho do modelo e no tempo de inferência. Apesar da compressão, o modelo estudante supera a maioria dos frameworks existentes, facilitando a implantação em dispositivos de ponta para a triagem de DMRI. O código está disponível em https://github.com/erfan-nourbakhsh/KD-OCT.

English

Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.