Aandacht of Convolutie: Transformer Encoders in Audio Taalmodellen voor Inferentie-efficiëntie

Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency

November 5, 2023

Auteurs: Sungho Jeon, Ching-Feng Yeh, Hakan Inan, Wei-Ning Hsu, Rashi Rungta, Yashar Mehdad, Daniel Bikel

cs.AI

Samenvatting

In dit artikel tonen we aan dat een eenvoudig zelfvoorbereid vooraf getraind audiomodel vergelijkbare inferentie-efficiëntie kan bereiken als complexere vooraf getrainde modellen met spraaktransformer-encoders. Deze spraaktransformers zijn gebaseerd op het combineren van convolutionele modules met zelf-attentiemodules. Ze behalen state-of-the-art prestaties op automatische spraakherkenning (ASR) met een hoge efficiëntie. We laten eerst zien dat het gebruik van deze spraaktransformers als encoder ook de efficiëntie van vooraf getrainde audiomodellen aanzienlijk verbetert. Onze studie toont echter aan dat we vergelijkbare efficiëntie kunnen bereiken met geavanceerde zelf-attentie alleen. We demonstreren dat deze eenvoudigere aanpak vooral voordelig is in combinatie met een techniek voor laagbitgewichtskwantisering van een neuraal netwerk om de efficiëntie te verbeteren. We veronderstellen dat dit het doorgeven van fouten tussen verschillende gekwantiseerde modules voorkomt in vergelijking met recente spraaktransformers die gekwantiseerde convolutie en gekwantiseerde zelf-attentiemodules combineren.

English

In this paper, we show that a simple self-supervised pre-trained audio model can achieve comparable inference efficiency to more complicated pre-trained models with speech transformer encoders. These speech transformers rely on mixing convolutional modules with self-attention modules. They achieve state-of-the-art performance on ASR with top efficiency. We first show that employing these speech transformers as an encoder significantly improves the efficiency of pre-trained audio models as well. However, our study shows that we can achieve comparable efficiency with advanced self-attention solely. We demonstrate that this simpler approach is particularly beneficial with a low-bit weight quantization technique of a neural network to improve efficiency. We hypothesize that it prevents propagating the errors between different quantized modules compared to recent speech transformers mixing quantized convolution and the quantized self-attention modules.