Accélération des transducteurs par fusion de tokens adjacents

Accelerating Transducers through Adjacent Token Merging

June 28, 2023

Auteurs: Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

cs.AI

Résumé

Les systèmes récents de reconnaissance automatique de la parole (ASR) de bout en bout utilisent souvent un encodeur acoustique basé sur le Transformer qui génère des embeddings à un taux de trames élevé. Cependant, cette conception est inefficace, en particulier pour les signaux vocaux longs, en raison du calcul quadratique de l'auto-attention. Pour remédier à cela, nous proposons une nouvelle méthode, le Adjacent Token Merging (A-ToMe), qui combine progressivement les tokens adjacents présentant des scores de similarité élevés entre leurs valeurs clés. De cette manière, le nombre total d'étapes temporelles peut être réduit, et l'inférence à la fois de l'encodeur et du réseau joint est accélérée. Les expériences sur LibriSpeech montrent que notre méthode peut réduire de 57 % le nombre de tokens et améliorer la vitesse d'inférence sur GPU de 70 % sans perte notable de précision. De plus, nous démontrons qu'A-ToMe est également une solution efficace pour réduire les tokens dans l'ASR de long format, où la parole d'entrée est composée de multiples énoncés.

English

Recent end-to-end automatic speech recognition (ASR) systems often utilize a Transformer-based acoustic encoder that generates embedding at a high frame rate. However, this design is inefficient, particularly for long speech signals due to the quadratic computation of self-attention. To address this, we propose a new method, Adjacent Token Merging (A-ToMe), which gradually combines adjacent tokens with high similarity scores between their key values. In this way, the total time step could be reduced, and the inference of both the encoder and joint network is accelerated. Experiments on LibriSpeech show that our method can reduce 57% of tokens and improve the inference speed on GPU by 70% without any notable loss of accuracy. Additionally, we demonstrate that A-ToMe is also an effective solution to reduce tokens in long-form ASR, where the input speech consists of multiple utterances.