Attention ou Convolution : Encoders de Transformers dans les Modèles de Langage Audio pour une Inférence Efficace

Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency

November 5, 2023

Auteurs: Sungho Jeon, Ching-Feng Yeh, Hakan Inan, Wei-Ning Hsu, Rashi Rungta, Yashar Mehdad, Daniel Bikel

cs.AI

Résumé

Dans cet article, nous montrons qu'un modèle audio pré-entraîné auto-supervisé simple peut atteindre une efficacité d'inférence comparable à des modèles pré-entraînés plus complexes utilisant des encodeurs de type transformeur pour la parole. Ces transformeurs de parole reposent sur un mélange de modules convolutifs et de modules d'auto-attention. Ils atteignent des performances de pointe en reconnaissance automatique de la parole (ASR) avec une efficacité maximale. Nous montrons d'abord que l'utilisation de ces transformeurs de parole comme encodeur améliore également de manière significative l'efficacité des modèles audio pré-entraînés. Cependant, notre étude révèle que nous pouvons atteindre une efficacité comparable en utilisant uniquement une auto-attention avancée. Nous démontrons que cette approche plus simple est particulièrement bénéfique lorsqu'elle est combinée à une technique de quantification des poids en faible précision d'un réseau neuronal pour améliorer l'efficacité. Nous émettons l'hypothèse que cela empêche la propagation des erreurs entre différents modules quantifiés, contrairement aux transformeurs de parole récents qui mélangent des convolutions quantifiées et des modules d'auto-attention quantifiés.

English

In this paper, we show that a simple self-supervised pre-trained audio model can achieve comparable inference efficiency to more complicated pre-trained models with speech transformer encoders. These speech transformers rely on mixing convolutional modules with self-attention modules. They achieve state-of-the-art performance on ASR with top efficiency. We first show that employing these speech transformers as an encoder significantly improves the efficiency of pre-trained audio models as well. However, our study shows that we can achieve comparable efficiency with advanced self-attention solely. We demonstrate that this simpler approach is particularly beneficial with a low-bit weight quantization technique of a neural network to improve efficiency. We hypothesize that it prevents propagating the errors between different quantized modules compared to recent speech transformers mixing quantized convolution and the quantized self-attention modules.