Effiziente Audiobeschreibung mit Wissensverdichtung auf Encoder-Ebene.

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

papers.authors: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

papers.abstract

Mit den neuesten Modellen wurden signifikante Verbesserungen in der automatischen Audio-Beschriftung (AAC) erzielt. Allerdings sind diese Modelle aufgrund ihrer gesteigerten Leistungsfähigkeit zunehmend größer geworden. In dieser Arbeit schlagen wir ein Wissensvermittlungs (KD) Framework für AAC vor. Unsere Analyse zeigt, dass es bei den auf Encoder-Decoder basierenden AAC-Modellen effektiver ist, Wissen in den Encoder zu vermitteln im Vergleich zum Decoder. Zu diesem Zweck integrieren wir einen KD-Verlust auf Encoder-Ebene in das Training, zusätzlich zum standardmäßigen überwachten Verlust und dem KD-Verlust auf Sequenzebene. Wir untersuchen zwei KD-Methoden auf Encoder-Ebene, basierend auf dem mittleren quadratischen Fehler (MSE) und dem kontrastiven Verlust. Experimentelle Ergebnisse zeigen, dass der kontrastive KD robuster ist als der MSE KD und eine überlegene Leistung in datenarmen Situationen aufweist. Durch die Nutzung von ausschließlich Audio-Daten im Training im KD-Framework erreicht unser Schülermodell eine wettbewerbsfähige Leistung, mit einer Inferenzgeschwindigkeit, die 19-mal schneller ist. Eine Online-Demo ist verfügbar unter \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.