Ottimizzazione Sensibile alla Geometria per la Classificazione dei Suoni Respiratori: Miglioramento della Sensibilità con Trasformatori su Spettrogrammi Audio Ottimizzati con SAM
Geometry-Aware Optimization for Respiratory Sound Classification: Enhancing Sensitivity with SAM-Optimized Audio Spectrogram Transformers
December 27, 2025
Autori: Atakan Işık, Selin Vulga Işık, Ahmet Feridun Işık, Mahşuk Taylan
cs.AI
Abstract
La classificazione dei suoni respiratori è ostacolata dalle dimensioni limitate, dagli elevati livelli di rumore e dal severo squilibrio delle classi nei dataset di riferimento come l'ICBHI 2017. Sebbene i modelli basati su Transformer offrano potenti capacità di estrazione delle caratteristiche, sono inclini all'overfitting e spesso convergono verso minimi acuti nel panorama della loss quando addestrati su tali dati medici limitati. Per affrontare questo problema, introduciamo un framework che migliora l'Audio Spectrogram Transformer (AST) utilizzando la Sharpness-Aware Minimization (SAM). Invece di limitarsi a minimizzare la loss di addestramento, il nostro approccio ottimizza la geometria della superficie della loss, guidando il modello verso minimi più piatti che generalizzano meglio su pazienti non visti. Implementiamo inoltre una strategia di campionamento pesato per gestire efficacemente lo squilibrio delle classi. Il nostro metodo raggiunge un punto state-of-the-art del 68,10% sul dataset ICBHI 2017, superando le baseline esistenti basate su CNN e ibride. Ancora più importante, raggiunge una sensibilità del 68,31%, un miglioramento cruciale per uno screening clinico affidabile. Un'ulteriore analisi che utilizza t-SNE e mappe di attenzione conferma che il modello apprende caratteristiche robuste e discriminative piuttosto che memorizzare il rumore di fondo.
English
Respiratory sound classification is hindered by the limited size, high noise levels, and severe class imbalance of benchmark datasets like ICBHI 2017. While Transformer-based models offer powerful feature extraction capabilities, they are prone to overfitting and often converge to sharp minima in the loss landscape when trained on such constrained medical data. To address this, we introduce a framework that enhances the Audio Spectrogram Transformer (AST) using Sharpness-Aware Minimization (SAM). Instead of merely minimizing the training loss, our approach optimizes the geometry of the loss surface, guiding the model toward flatter minima that generalize better to unseen patients. We also implement a weighted sampling strategy to handle class imbalance effectively. Our method achieves a state-of-the-art score of 68.10% on the ICBHI 2017 dataset, outperforming existing CNN and hybrid baselines. More importantly, it reaches a sensitivity of 68.31%, a crucial improvement for reliable clinical screening. Further analysis using t-SNE and attention maps confirms that the model learns robust, discriminative features rather than memorizing background noise.