Serpiente de Habla: Examinando el Rendimiento y Eficiencia de Mamba para Separación, Reconocimiento y Síntesis del Habla

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis

July 13, 2024

Autores: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani

cs.AI

Resumen

Es demasiado pronto para concluir que Mamba es una mejor alternativa a los transformadores para el habla antes de comparar Mamba con los transformadores en términos de rendimiento y eficiencia en múltiples tareas relacionadas con el habla. Para llegar a esta conclusión, proponemos y evaluamos tres modelos para tres tareas: Mamba-TasNet para separación de habla, ConMamba para reconocimiento de habla y VALL-M para síntesis de habla. Los comparamos con transformadores de tamaños similares en rendimiento, memoria y velocidad. Nuestros modelos híbridos Mamba o Mamba-transformer muestran un rendimiento comparable o superior a sus contrapartes transformadoras: Sepformer, Conformer y VALL-E. Son más eficientes que los transformadores en memoria y velocidad para habla de duración superior a un umbral, inversamente relacionado con la resolución de un token de habla. Mamba para separación es el más eficiente, y Mamba para reconocimiento es el menos eficiente. Además, demostramos que Mamba no es más eficiente que el transformador para habla de duración inferior al umbral y tiene un rendimiento inferior en modelos que requieren modelado conjunto de texto y habla, como la atención cruzada o enmascarada de dos entradas. Por lo tanto, argumentamos que la superioridad de Mamba o del transformador depende de problemas y modelos particulares. Código disponible en https://github.com/xi-j/Mamba-TasNet y https://github.com/xi-j/Mamba-ASR.

English

It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.