Captionnage Audio Efficace par Distillation de Connaissances au Niveau de l'Encodeur

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Auteurs: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Résumé

Des améliorations significatives ont été réalisées dans le domaine de la génération automatisée de légendes audio (AAC) grâce aux modèles récents. Cependant, ces modèles sont devenus de plus en plus volumineux à mesure que leurs performances s'améliorent. Dans ce travail, nous proposons un cadre de distillation de connaissances (KD) pour l'AAC. Notre analyse montre que, dans les modèles AAC basés sur une architecture encodeur-décodeur, il est plus efficace de distiller les connaissances dans l'encodeur plutôt que dans le décodeur. À cette fin, nous intégrons une perte de KD au niveau de l'encodeur dans l'entraînement, en plus de la perte supervisée standard et de la perte de KD au niveau de la séquence. Nous étudions deux méthodes de KD au niveau de l'encodeur, basées respectivement sur une perte d'erreur quadratique moyenne (MSE) et une perte contrastive. Les résultats expérimentaux démontrent que le KD contrastif est plus robuste que le KD MSE, affichant des performances supérieures dans des situations de données limitées. En exploitant des données audio uniquement dans le cadre de l'entraînement via le KD, notre modèle étudiant atteint des performances compétitives, avec une vitesse d'inférence 19 fois plus rapide. Une démonstration en ligne est disponible à l'adresse \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.