Speech Slytherin: Onderzoek naar de Prestaties en Efficiëntie van Mamba voor Spraakscheiding, -herkenning en -synthese

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis

July 13, 2024

Auteurs: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani

cs.AI

Samenvatting

Het is te vroeg om te concluderen dat Mamba een beter alternatief is voor transformers in spraaktoepassingen, voordat Mamba en transformers zijn vergeleken op zowel prestaties als efficiëntie in meerdere spraakgerelateerde taken. Om tot deze conclusie te komen, stellen we drie modellen voor en evalueren deze voor drie taken: Mamba-TasNet voor spraakscheiding, ConMamba voor spraakherkenning en VALL-M voor spraaksynthese. We vergelijken deze met transformers van vergelijkbare grootte op het gebied van prestaties, geheugengebruik en snelheid. Onze Mamba- of Mamba-transformer hybride modellen laten vergelijkbare of betere prestaties zien dan hun transformer-tegenhangers: Sepformer, Conformer en VALL-E. Ze zijn efficiënter dan transformers in geheugengebruik en snelheid voor spraak die langer is dan een drempelduur, die omgekeerd evenredig is aan de resolutie van een spraaktoken. Mamba voor scheiding is het meest efficiënt, en Mamba voor herkenning het minst. Verder laten we zien dat Mamba niet efficiënter is dan transformer voor spraak die korter is dan de drempelduur en slechter presteert in modellen die gezamenlijke modellering van tekst en spraak vereisen, zoals kruis- of gemaskeerde aandacht van twee invoeren. Daarom stellen we dat de superioriteit van Mamba of transformer afhangt van specifieke problemen en modellen. Code is beschikbaar op https://github.com/xi-j/Mamba-TasNet en https://github.com/xi-j/Mamba-ASR.

English

It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.