Эффективное создание подписей к аудио с помощью дистилляции знаний на уровне кодировщика

Efficient Audio Captioning with Encoder-Level Knowledge Distillation

July 19, 2024

Авторы: Xuenan Xu, Haohe Liu, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Аннотация

Значительное улучшение было достигнуто в автоматической генерации подписей к аудио (AAC) с использованием последних моделей. Однако эти модели стали все более крупными по мере улучшения их производительности. В данной работе мы предлагаем рамочную концепцию дистилляции знаний (KD) для AAC. Наш анализ показывает, что в моделях AAC на основе кодировщика-декодировщика эффективнее дистиллировать знания в кодировщик, чем в декодировщик. Для этого мы включаем потерю дистилляции на уровне кодировщика в процесс обучения, дополнительно к стандартной обучающей потере и потере дистилляции на уровне последовательности. Мы исследуем два метода дистилляции на уровне кодировщика, основанных на потере среднеквадратичной ошибки (MSE) и контрастной потере соответственно. Экспериментальные результаты показывают, что контрастная дистилляция знаний более устойчива, чем дистилляция знаний на основе MSE, проявляя превосходную производительность в ситуациях с ограниченными данными. Используя только аудиоданные в процессе обучения в рамках KD, наша модель-ученик достигает конкурентоспособной производительности, с скоростью вывода, которая в 19 раз быстрее. Онлайн-демонстрация доступна по ссылке: \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.

English

Significant improvement has been achieved in automated audio captioning (AAC) with recent models. However, these models have become increasingly large as their performance is enhanced. In this work, we propose a knowledge distillation (KD) framework for AAC. Our analysis shows that in the encoder-decoder based AAC models, it is more effective to distill knowledge into the encoder as compared with the decoder. To this end, we incorporate encoder-level KD loss into training, in addition to the standard supervised loss and sequence-level KD loss. We investigate two encoder-level KD methods, based on mean squared error (MSE) loss and contrastive loss, respectively. Experimental results demonstrate that contrastive KD is more robust than MSE KD, exhibiting superior performance in data-scarce situations. By leveraging audio-only data into training in the KD framework, our student model achieves competitive performance, with an inference speed that is 19 times fasterAn online demo is available at \url{https://huggingface.co/spaces/wsntxxn/efficient_audio_captioning}.