Beschleunigung von Transducern durch das Zusammenführen benachbarter Tokens

Accelerating Transducers through Adjacent Token Merging

June 28, 2023

Autoren: Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

cs.AI

Zusammenfassung

Aktuelle End-to-End-Systeme zur automatischen Spracherkennung (ASR) verwenden häufig einen Transformer-basierten akustischen Encoder, der Einbettungen mit einer hohen Bildrate erzeugt. Dieses Design ist jedoch ineffizient, insbesondere bei langen Sprachsignalen, aufgrund der quadratischen Berechnung der Selbstaufmerksamkeit. Um dies zu beheben, schlagen wir eine neue Methode vor, das sogenannte Adjacent Token Merging (A-ToMe), bei der benachbarte Token mit hohen Ähnlichkeitswerten zwischen ihren Schlüsselwerten schrittweise kombiniert werden. Auf diese Weise kann die Gesamtzahl der Zeitschritte reduziert werden, und die Inferenz sowohl des Encoders als auch des gemeinsamen Netzwerks wird beschleunigt. Experimente auf LibriSpeech zeigen, dass unsere Methode 57 % der Token reduzieren und die Inferenzgeschwindigkeit auf der GPU um 70 % steigern kann, ohne dass es zu einem nennenswerten Genauigkeitsverlust kommt. Darüber hinaus demonstrieren wir, dass A-ToMe auch eine effektive Lösung zur Reduzierung von Token in der Langform-ASR ist, bei der die Eingabesprache aus mehreren Äußerungen besteht.

English

Recent end-to-end automatic speech recognition (ASR) systems often utilize a Transformer-based acoustic encoder that generates embedding at a high frame rate. However, this design is inefficient, particularly for long speech signals due to the quadratic computation of self-attention. To address this, we propose a new method, Adjacent Token Merging (A-ToMe), which gradually combines adjacent tokens with high similarity scores between their key values. In this way, the total time step could be reduced, and the inference of both the encoder and joint network is accelerated. Experiments on LibriSpeech show that our method can reduce 57% of tokens and improve the inference speed on GPU by 70% without any notable loss of accuracy. Additionally, we demonstrate that A-ToMe is also an effective solution to reduce tokens in long-form ASR, where the input speech consists of multiple utterances.