Sprach-Slytherin: Untersuchung der Leistung und Effizienz von Mamba für die Sprachtrennung, -erkennung und -synthese.

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis

July 13, 2024

Autoren: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani

cs.AI

Zusammenfassung

Es ist noch zu früh, um zu schlussfolgern, dass Mamba eine bessere Alternative zu Transformatoren für Sprache darstellt, bevor Mamba nicht sowohl in Bezug auf Leistung als auch Effizienz in mehreren sprachbezogenen Aufgaben mit Transformatoren verglichen wird. Um zu diesem Schluss zu gelangen, schlagen wir drei Modelle für drei Aufgaben vor und evaluieren sie: Mamba-TasNet für die Sprachtrennung, ConMamba für die Spracherkennung und VALL-M für die Sprachsynthese. Wir vergleichen sie in Bezug auf Leistung, Speichernutzung und Geschwindigkeit mit Transformatoren ähnlicher Größe. Unsere Mamba- oder Mamba-Transformer-Hybridmodelle zeigen vergleichbare oder höhere Leistung als ihre Transformer-Gegenstücke: Sepformer, Conformer und VALL-E. Sie sind effizienter als Transformatoren in Speichernutzung und Geschwindigkeit für Sprache, die länger als eine bestimmte Dauer ist, die umgekehrt mit der Auflösung eines Sprachtokens zusammenhängt. Mamba für die Trennung ist am effizientesten, und Mamba für die Erkennung am wenigsten. Darüber hinaus zeigen wir, dass Mamba für Sprache, die kürzer als die Schwellendauer ist, nicht effizienter ist als Transformatoren und in Modellen, die eine gemeinsame Modellierung von Text und Sprache erfordern, wie z.B. Kreuz- oder maskierte Aufmerksamkeit von zwei Eingaben, schlechter abschneidet. Daher argumentieren wir, dass die Überlegenheit von Mamba oder Transformer von bestimmten Problemen und Modellen abhängt. Der Code ist verfügbar unter https://github.com/xi-j/Mamba-TasNet und https://github.com/xi-j/Mamba-ASR.

English

It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.