KD-OCT: 임상 등급 망막 OCT 분류를 위한 효율적 지식 증류

초록

연령 관련 황반변성(AMD) 및 맥락막 신생혈관(CNV) 관련 질환은 전 세계적으로 시력 손실의 주요 원인이며, 광간섭단층촬영(OCT)은 조기 발견 및 관리의 핵심 수단으로 활용되고 있습니다. 그러나 ConvNeXtV2-Large와 같은 최첨단 딥러닝 모델을 임상 현장에 배포하는 것은 높은 계산량 요구로 인해 제약을 받고 있습니다. 따라서 높은 진단 성능을 유지하면서 실시간 배포가 가능한 효율적인 모델 개발이 요구됩니다. 본 연구에서는 고성능 ConvNeXtV2-Large 교사 모델(고급 증강 기법, 확률적 가중 평균, focal loss로 강화됨)을 경량 EfficientNet-B2 학생 모델로 압축하기 위해 KD-OCT라는 새로운 지식 증류 프레임워크를 제안합니다. 이는 정상, 드루젠, CNV 케이스를 분류하는 데 사용됩니다. KD-OCT는 소프트 교사 지식 전달과 하드 실측값 감독 간의 균형을 맞춘 결합 손실 함수를 통한 실시간 증류를 적용합니다. 제안된 방법의 효과는 환자 수준 교차 검증을 사용하여 Noor Eye Hospital(NEH) 데이터셋에서 평가되었습니다. 실험 결과, KD-OCT는 효율성과 정확도의 균형 측면에서 유사한 다중 스케일 또는 특징 융합 OCT 분류기들을 능가하며, 모델 크기와 추론 시간을 대폭 줄이면서 교사 모델에 근접한 성능을 달성함을 보여줍니다. 압축에도 불구하고 학생 모델은 대부분의 기존 프레임워크를 뛰어넘어 AMD 스크리닝을 위한 에지 디바이스 배포를 용이하게 합니다. 코드는 https://github.com/erfan-nourbakhsh/KD-OCT에서 확인할 수 있습니다.

English

Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.

KD-OCT: 임상 등급 망막 OCT 분류를 위한 효율적 지식 증류

KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification

초록

Support