Captionado de audio eficiente con destilación de conocimiento a nivel de codificador.

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Autores: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Resumen

Se ha logrado una mejora significativa en la subtitulación automática de audio (AAC) con los modelos recientes. Sin embargo, estos modelos se han vuelto cada vez más grandes a medida que se mejora su rendimiento. En este trabajo, proponemos un marco de destilación de conocimiento (KD) para AAC. Nuestro análisis muestra que en los modelos AAC basados en codificador-decodificador, es más efectivo destilar conocimiento en el codificador en comparación con el decodificador. Con este fin, incorporamos una pérdida de destilación de conocimiento a nivel de codificador en el entrenamiento, además de la pérdida supervisada estándar y la pérdida de destilación de conocimiento a nivel de secuencia. Investigamos dos métodos de destilación de conocimiento a nivel de codificador, basados en la pérdida de error cuadrático medio (MSE) y la pérdida contrastiva, respectivamente. Los resultados experimentales demuestran que la destilación contrastiva es más robusta que la destilación MSE, mostrando un rendimiento superior en situaciones con escasez de datos. Al aprovechar datos solo de audio en el entrenamiento en el marco de KD, nuestro modelo estudiante logra un rendimiento competitivo, con una velocidad de inferencia que es 19 veces más rápida. Se encuentra disponible una demostración en línea en \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.