Aufmerksamkeit oder Faltung: Transformer-Encoder in Audio-Sprachmodellen für effiziente Inferenz

Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency

November 5, 2023

Autoren: Sungho Jeon, Ching-Feng Yeh, Hakan Inan, Wei-Ning Hsu, Rashi Rungta, Yashar Mehdad, Daniel Bikel

cs.AI

Zusammenfassung

In diesem Artikel zeigen wir, dass ein einfaches, selbstüberwachtes vortrainiertes Audiomodell eine vergleichbare Inferenzeffizienz erreichen kann wie komplexere vortrainierte Modelle mit Sprach-Transformer-Encodern. Diese Sprach-Transformer kombinieren konvolutionale Module mit Selbstaufmerksamkeitsmodulen und erzielen dabei state-of-the-art Leistung in der automatischen Spracherkennung (ASR) bei hoher Effizienz. Zunächst zeigen wir, dass der Einsatz dieser Sprach-Transformer als Encoder auch die Effizienz vortrainierter Audiomodelle erheblich verbessert. Unsere Studie zeigt jedoch, dass wir eine vergleichbare Effizienz allein mit fortgeschrittener Selbstaufmerksamkeit erreichen können. Wir demonstrieren, dass dieser einfachere Ansatz insbesondere in Kombination mit einer Low-Bit-Gewichtsquantisierungstechnik für neuronale Netze vorteilhaft ist, um die Effizienz zu steigern. Wir stellen die Hypothese auf, dass dies im Vergleich zu aktuellen Sprach-Transformern, die quantisierte Konvolution und quantisierte Selbstaufmerksamkeitsmodule mischen, die Fehlerfortpflanzung zwischen den verschiedenen quantisierten Modulen verhindert.

English

In this paper, we show that a simple self-supervised pre-trained audio model can achieve comparable inference efficiency to more complicated pre-trained models with speech transformer encoders. These speech transformers rely on mixing convolutional modules with self-attention modules. They achieve state-of-the-art performance on ASR with top efficiency. We first show that employing these speech transformers as an encoder significantly improves the efficiency of pre-trained audio models as well. However, our study shows that we can achieve comparable efficiency with advanced self-attention solely. We demonstrate that this simpler approach is particularly beneficial with a low-bit weight quantization technique of a neural network to improve efficiency. We hypothesize that it prevents propagating the errors between different quantized modules compared to recent speech transformers mixing quantized convolution and the quantized self-attention modules.