Geometrie-bewuste optimalisatie voor de classificatie van ademhalingsgeluiden: Verbetering van gevoeligheid met SAM-geoptimaliseerde audio spectrogram transformers
Geometry-Aware Optimization for Respiratory Sound Classification: Enhancing Sensitivity with SAM-Optimized Audio Spectrogram Transformers
December 27, 2025
Auteurs: Atakan Işık, Selin Vulga Işık, Ahmet Feridun Işık, Mahşuk Taylan
cs.AI
Samenvatting
De classificatie van respiratoire geluiden wordt bemoeilijkt door de beperkte omvang, het hoge ruisniveau en de ernstige klasse-onbalans van benchmarkdatasets zoals ICBHI 2017. Hoewel op Transformers gebaseerde modellen krachtige mogelijkheden voor kenmerkextractie bieden, zijn ze gevoelig voor overfitting en convergeren ze vaak naar scherpe minima in het verlieslandschap wanneer ze worden getraind op dergelijke beperkte medische gegevens. Om dit aan te pakken, introduceren we een raamwerk dat de Audio Spectrogram Transformer (AST) verbetert met behulp van Sharpness-Aware Minimization (SAM). In plaats van alleen de trainingsverlies te minimaliseren, optimaliseert onze aanpak de geometrie van het verliesoppervlak, waardoor het model naar vlakkere minima wordt geleid die beter generaliseren naar onzichtbare patiënten. We implementeren ook een gewogen steekproefstrategie om klasse-onbalans effectief aan te pakken. Onze methode behaalt een state-of-the-art score van 68,10% op de ICBHI 2017-dataset, waarmee bestaande CNN- en hybride baseline-modellen worden overtroffen. Belangrijker nog, het bereikt een sensitiviteit van 68,31%, een cruciale verbetering voor betrouwbare klinische screening. Verdere analyse met behulp van t-SNE en aandachtsoverzichten bevestigt dat het model robuuste, onderscheidende kenmerken leert in plaats van achtergrondruis te memoriseren.
English
Respiratory sound classification is hindered by the limited size, high noise levels, and severe class imbalance of benchmark datasets like ICBHI 2017. While Transformer-based models offer powerful feature extraction capabilities, they are prone to overfitting and often converge to sharp minima in the loss landscape when trained on such constrained medical data. To address this, we introduce a framework that enhances the Audio Spectrogram Transformer (AST) using Sharpness-Aware Minimization (SAM). Instead of merely minimizing the training loss, our approach optimizes the geometry of the loss surface, guiding the model toward flatter minima that generalize better to unseen patients. We also implement a weighted sampling strategy to handle class imbalance effectively. Our method achieves a state-of-the-art score of 68.10% on the ICBHI 2017 dataset, outperforming existing CNN and hybrid baselines. More importantly, it reaches a sensitivity of 68.31%, a crucial improvement for reliable clinical screening. Further analysis using t-SNE and attention maps confirms that the model learns robust, discriminative features rather than memorizing background noise.