Геометрически-осознанная оптимизация для классификации респираторных звуков: повышение чувствительности с помощью Audio Spectrogram Transformers, оптимизированных методом SAM

Geometry-Aware Optimization for Respiratory Sound Classification: Enhancing Sensitivity with SAM-Optimized Audio Spectrogram Transformers

December 27, 2025

Авторы: Atakan Işık, Selin Vulga Işık, Ahmet Feridun Işık, Mahşuk Taylan

cs.AI

Аннотация

Классификация респираторных звуков затруднена из-за ограниченного размера, высокого уровня шума и значительного дисбаланса классов в эталонных наборах данных, таких как ICBHI 2017. Хотя модели на основе трансформеров обладают мощными возможностями извлечения признаков, они склонны к переобучению и часто сходятся к острым минимумам в ландшафте функции потерь при обучении на таких ограниченных медицинских данных. Для решения этой проблемы мы предлагаем фреймворк, который улучшает Audio Spectrogram Transformer (AST) с использованием метода минимизации, учитывающего остроту минимума (Sharpness-Aware Minimization, SAM). Вместо простого минимизирования ошибки обучения наш подход оптимизирует геометрию поверхности потерь, направляя модель к более плоским минимумам, которые лучше обобщаются на данные новых пациентов. Мы также реализуем стратегию взвешенной выборки для эффективного устранения дисбаланса классов. Наш метод достигает наилучшего результата в 68.10% на наборе данных ICBHI 2017, превосходя существующие CNN и гибридные базовые модели. Что более важно, достигается чувствительность 68.31%, что является ключевым улучшением для надежного клинического скрининга. Дополнительный анализ с использованием t-SNE и карт внимания подтверждает, что модель обучается robustным, дискриминативным признакам, а не запоминанию фонового шума.

English

Respiratory sound classification is hindered by the limited size, high noise levels, and severe class imbalance of benchmark datasets like ICBHI 2017. While Transformer-based models offer powerful feature extraction capabilities, they are prone to overfitting and often converge to sharp minima in the loss landscape when trained on such constrained medical data. To address this, we introduce a framework that enhances the Audio Spectrogram Transformer (AST) using Sharpness-Aware Minimization (SAM). Instead of merely minimizing the training loss, our approach optimizes the geometry of the loss surface, guiding the model toward flatter minima that generalize better to unseen patients. We also implement a weighted sampling strategy to handle class imbalance effectively. Our method achieves a state-of-the-art score of 68.10% on the ICBHI 2017 dataset, outperforming existing CNN and hybrid baselines. More importantly, it reaches a sensitivity of 68.31%, a crucial improvement for reliable clinical screening. Further analysis using t-SNE and attention maps confirms that the model learns robust, discriminative features rather than memorizing background noise.