Serpente de Fala: Examinando o Desempenho e Eficiência da Mamba para Separação, Reconhecimento e Síntese de Fala

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis

July 13, 2024

Autores: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani

cs.AI

Resumo

É muito cedo para concluir que Mamba é uma alternativa melhor aos transformers para fala antes de comparar Mamba com transformers em termos de desempenho e eficiência em várias tarefas relacionadas à fala. Para chegar a essa conclusão, propomos e avaliamos três modelos para três tarefas: Mamba-TasNet para separação de fala, ConMamba para reconhecimento de fala e VALL-M para síntese de fala. Os comparamos com transformers de tamanhos similares em desempenho, memória e velocidade. Nossos modelos híbridos Mamba ou Mamba-transformer mostram desempenho comparável ou superior aos seus equivalentes transformers: Sepformer, Conformer e VALL-E. Eles são mais eficientes que os transformers em memória e velocidade para fala com duração superior a um limite, inversamente relacionado à resolução de um token de fala. Mamba para separação é o mais eficiente, e Mamba para reconhecimento é o menos eficiente. Além disso, demonstramos que Mamba não é mais eficiente que o transformer para fala com duração inferior ao limite e tem desempenho inferior em modelos que requerem modelagem conjunta de texto e fala, como atenção cruzada ou mascarada de duas entradas. Portanto, argumentamos que a superioridade de Mamba ou transformer depende de problemas e modelos específicos. Código disponível em https://github.com/xi-j/Mamba-TasNet e https://github.com/xi-j/Mamba-ASR.

English

It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.