Campionamento Audio Efficiente con Distillazione della Conoscenza a Livello di Encoder

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Autori: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Abstract

È stato ottenuto un miglioramento significativo nel campo della generazione automatica di didascalie audio (AAC) con i modelli recenti. Tuttavia, questi modelli sono diventati sempre più grandi man mano che le loro prestazioni sono state potenziate. In questo lavoro, proponiamo un framework di distillazione della conoscenza (KD) per l'AAC. La nostra analisi mostra che nei modelli AAC basati su encoder-decoder, è più efficace distillare la conoscenza nell'encoder rispetto al decoder. A tal fine, integriamo una perdita KD a livello di encoder durante l'addestramento, oltre alla perdita supervisionata standard e alla perdita KD a livello di sequenza. Esaminiamo due metodi KD a livello di encoder, basati rispettivamente sulla perdita dell'errore quadratico medio (MSE) e sulla perdita contrastiva. I risultati sperimentali dimostrano che la KD contrastiva è più robusta rispetto alla KD MSE, mostrando prestazioni superiori in situazioni con dati limitati. Sfruttando dati esclusivamente audio durante l'addestramento nel framework KD, il nostro modello studente raggiunge prestazioni competitive, con una velocità di inferenza 19 volte più veloce. Una demo online è disponibile all'indirizzo \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.