Внимание или свертка: трансформерные энкодеры в аудио-языковых моделях для повышения эффективности вывода

Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency

November 5, 2023

Авторы: Sungho Jeon, Ching-Feng Yeh, Hakan Inan, Wei-Ning Hsu, Rashi Rungta, Yashar Mehdad, Daniel Bikel

cs.AI

Аннотация

В данной работе мы показываем, что простая самоконтролируемая предобученная аудиомодель может достичь сопоставимой эффективности вывода с более сложными предобученными моделями, использующими трансформерные кодировщики для речи. Эти речевые трансформеры полагаются на комбинирование сверточных модулей с модулями самовнимания и достигают наилучшей производительности в задачах автоматического распознавания речи (ASR) с высокой эффективностью. Сначала мы демонстрируем, что использование таких речевых трансформеров в качестве кодировщика также значительно повышает эффективность предобученных аудиомоделей. Однако наше исследование показывает, что сопоставимую эффективность можно достичь исключительно с помощью продвинутого самовнимания. Мы показываем, что такой более простой подход особенно выгоден при использовании техники низкобитового квантования весов нейронной сети для повышения эффективности. Мы предполагаем, что это предотвращает распространение ошибок между различными квантованными модулями по сравнению с современными речевыми трансформерами, которые комбинируют квантованные сверточные модули и модули квантованного самовнимания.

English

In this paper, we show that a simple self-supervised pre-trained audio model can achieve comparable inference efficiency to more complicated pre-trained models with speech transformer encoders. These speech transformers rely on mixing convolutional modules with self-attention modules. They achieve state-of-the-art performance on ASR with top efficiency. We first show that employing these speech transformers as an encoder significantly improves the efficiency of pre-trained audio models as well. However, our study shows that we can achieve comparable efficiency with advanced self-attention solely. We demonstrate that this simpler approach is particularly beneficial with a low-bit weight quantization technique of a neural network to improve efficiency. We hypothesize that it prevents propagating the errors between different quantized modules compared to recent speech transformers mixing quantized convolution and the quantized self-attention modules.