Речевой Слизерин: Исследование производительности и эффективности Мамбы для разделения речи, распознавания и синтеза

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis

July 13, 2024

Авторы: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani

cs.AI

Аннотация

Пока рано делать вывод о том, что Mamba является лучшей альтернативой трансформерам для речи, не сравнив Mamba с трансформерами по показателям как производительности, так и эффективности в нескольких задачах, связанных с речью. Для получения этого вывода мы предлагаем и оцениваем три модели для трех задач: Mamba-TasNet для разделения речи, ConMamba для распознавания речи и VALL-M для синтеза речи. Мы сравниваем их с трансформерами схожего размера по производительности, памяти и скорости. Наши модели Mamba или гибридные модели Mamba-трансформер показывают сопоставимую или более высокую производительность, чем их трансформерные аналоги: Sepformer, Conformer и VALL-E. Они более эффективны, чем трансформеры по памяти и скорости для речи длительностью более пороговой, обратно пропорциональной разрешению токена речи. Mamba для разделения является наиболее эффективным, а Mamba для распознавания - наименее. Кроме того, мы показываем, что Mamba не более эффективен, чем трансформер для речи длительностью менее пороговой и показывает худшие результаты в моделях, требующих совместного моделирования текста и речи, таких как кросс- или маскированное внимание двух входов. Поэтому мы утверждаем, что превосходство Mamba или трансформера зависит от конкретных задач и моделей. Код доступен по адресам https://github.com/xi-j/Mamba-TasNet и https://github.com/xi-j/Mamba-ASR.

English

It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.