Legenda de Áudio Eficiente com Destilação de Conhecimento ao Nível do Codificador

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Autores: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Resumo

Significativas melhorias foram alcançadas na legenda automática de áudio (AAC) com modelos recentes. No entanto, esses modelos têm se tornado cada vez maiores à medida que seu desempenho é aprimorado. Neste trabalho, propomos um framework de destilação de conhecimento (KD) para AAC. Nossa análise mostra que nos modelos AAC baseados em codificador-decodificador, é mais eficaz destilar conhecimento no codificador em comparação com o decodificador. Para isso, incorporamos a perda de KD ao nível do codificador no treinamento, além da perda supervisionada padrão e da perda de KD ao nível de sequência. Investigamos dois métodos de KD ao nível do codificador, baseados na perda de erro quadrático médio (MSE) e na perda contrastiva, respectivamente. Os resultados experimentais demonstram que o KD contrastivo é mais robusto do que o KD MSE, exibindo desempenho superior em situações de escassez de dados. Ao aproveitar dados apenas de áudio no treinamento no framework de KD, nosso modelo aluno alcança desempenho competitivo, com uma velocidade de inferência 19 vezes mais rápida. Uma demonstração online está disponível em \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.