KD-OCT: Эффективное дистилляция знаний для клинической классификации снимков OCT сетчатки
KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
December 9, 2025
Авторы: Erfan Nourbakhsh, Nasrin Sanjari, Ali Nourbakhsh
cs.AI
Аннотация
Возрастная макулярная дегенерация (ВМД) и состояния, связанные с хориоидальной неоваскуляризацией (ХНВ), являются ведущими причинами потери зрения во всем мире, при этом оптическая когерентная томография (ОКТ) служит краеугольным камнем для раннего выявления и ведения пациентов. Однако развертывание передовых моделей глубокого обучения, таких как ConvNeXtV2-Large, в клинической практике затруднено из-за их высоких вычислительных потребностей. Поэтому желательно разработать эффективные модели, которые сохраняют высокую диагностическую производительность, обеспечивая при этом возможность развертывания в реальном времени. В данном исследовании предлагается новая структура дистилляции знаний, названная KD-OCT, для сжатия высокопроизводительной модели-учителя ConvNeXtV2-Large, улучшенной с помощью расширенных аугментаций, стохастического усреднения весов и фокальной потери, в облегченную модель-ученика EfficientNet-B2 для классификации случаев нормы, друз и ХНВ. KD-OCT использует дистилляцию в реальном времени с комбинированной функцией потерь, балансирующей передачу "мягких" знаний от учителя и контроль по "жестким" истинным меткам. Эффективность предложенного метода оценивается на наборе данных Глазной больницы Нур (NEH) с использованием перекрестной проверки на уровне пациента. Результаты экспериментов демонстрируют, что KD-OCT превосходит сопоставимые многомасштабные или feature-fusion ОКТ-классификаторы по балансу эффективность-точность, достигая производительности, близкой к учителю, при значительном сокращении размера модели и времени вывода. Несмотря на сжатие, модель-ученик превосходит большинство существующих фреймворков, что способствует ее развертыванию на периферийных устройствах для скрининга ВМД. Код доступен по адресу https://github.com/erfan-nourbakhsh/KD-OCT.
English
Age-related macular degeneration (AMD) and choroidal neovascularization (CNV)-related conditions are leading causes of vision loss worldwide, with optical coherence tomography (OCT) serving as a cornerstone for early detection and management. However, deploying state-of-the-art deep learning models like ConvNeXtV2-Large in clinical settings is hindered by their computational demands. Therefore, it is desirable to develop efficient models that maintain high diagnostic performance while enabling real-time deployment. In this study, a novel knowledge distillation framework, termed KD-OCT, is proposed to compress a high-performance ConvNeXtV2-Large teacher model, enhanced with advanced augmentations, stochastic weight averaging, and focal loss, into a lightweight EfficientNet-B2 student for classifying normal, drusen, and CNV cases. KD-OCT employs real-time distillation with a combined loss balancing soft teacher knowledge transfer and hard ground-truth supervision. The effectiveness of the proposed method is evaluated on the Noor Eye Hospital (NEH) dataset using patient-level cross-validation. Experimental results demonstrate that KD-OCT outperforms comparable multi-scale or feature-fusion OCT classifiers in efficiency- accuracy balance, achieving near-teacher performance with substantial reductions in model size and inference time. Despite the compression, the student model exceeds most existing frameworks, facilitating edge deployment for AMD screening. Code is available at https://github.com/erfan-nourbakhsh/KD- OCT.