Atención o Convolución: Codificadores de Transformers en Modelos de Lenguaje de Audio para Eficiencia en Inferencia

Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency

November 5, 2023

Autores: Sungho Jeon, Ching-Feng Yeh, Hakan Inan, Wei-Ning Hsu, Rashi Rungta, Yashar Mehdad, Daniel Bikel

cs.AI

Resumen

En este artículo, demostramos que un modelo de audio preentrenado auto-supervisado simple puede alcanzar una eficiencia de inferencia comparable a modelos preentrenados más complejos con codificadores de transformadores de voz. Estos transformadores de voz dependen de la combinación de módulos convolucionales con módulos de auto-atención, logrando un rendimiento de vanguardia en reconocimiento automático del habla (ASR) con una eficiencia superior. Primero mostramos que el uso de estos transformadores de voz como codificador mejora significativamente la eficiencia de los modelos de audio preentrenados. Sin embargo, nuestro estudio revela que podemos alcanzar una eficiencia comparable utilizando únicamente auto-atención avanzada. Demostramos que este enfoque más simple es particularmente beneficioso cuando se combina con una técnica de cuantización de pesos de bajo bit en una red neuronal para mejorar la eficiencia. Nuestra hipótesis es que este método evita la propagación de errores entre diferentes módulos cuantizados, en comparación con los transformadores de voz recientes que mezclan convolución cuantizada y módulos de auto-atención cuantizados.

English

In this paper, we show that a simple self-supervised pre-trained audio model can achieve comparable inference efficiency to more complicated pre-trained models with speech transformer encoders. These speech transformers rely on mixing convolutional modules with self-attention modules. They achieve state-of-the-art performance on ASR with top efficiency. We first show that employing these speech transformers as an encoder significantly improves the efficiency of pre-trained audio models as well. However, our study shows that we can achieve comparable efficiency with advanced self-attention solely. We demonstrate that this simpler approach is particularly beneficial with a low-bit weight quantization technique of a neural network to improve efficiency. We hypothesize that it prevents propagating the errors between different quantized modules compared to recent speech transformers mixing quantized convolution and the quantized self-attention modules.