Efficiënte Audiobeschrijving met Encoder-Niveau Kennisdistillatie

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Auteurs: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Samenvatting

Er is aanzienlijke vooruitgang geboekt in automatische audiobeschrijving (AAC) met recente modellen. Deze modellen zijn echter steeds groter geworden naarmate hun prestaties verbeterden. In dit werk stellen we een raamwerk voor kennisdistillatie (KD) voor AAC voor. Onze analyse toont aan dat het in op encoder-decoder gebaseerde AAC-modellen effectiever is om kennis te distilleren in de encoder in vergelijking met de decoder. Hiertoe integreren we encoder-level KD-verlies in de training, naast het standaard begeleide verlies en sequence-level KD-verlies. We onderzoeken twee encoder-level KD-methoden, gebaseerd op mean squared error (MSE)-verlies en contrastief verlies, respectievelijk. Experimentele resultaten tonen aan dat contrastieve KD robuuster is dan MSE KD, met superieure prestaties in situaties met schaarse data. Door audio-only data te benutten in de training binnen het KD-raamwerk, bereikt ons studentmodel competitieve prestaties, met een inferentiesnelheid die 19 keer sneller is. Een online demo is beschikbaar op \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.