Acelerando Transdutores através da Fusão de Tokens Adjacentes

Accelerating Transducers through Adjacent Token Merging

June 28, 2023

Autores: Yuang Li, Yu Wu, Jinyu Li, Shujie Liu

cs.AI

Resumo

Sistemas recentes de reconhecimento automático de fala (ASR) de ponta a ponta frequentemente utilizam um codificador acústico baseado em Transformer que gera embeddings em uma alta taxa de quadros. No entanto, esse design é ineficiente, especialmente para sinais de fala longos, devido ao cálculo quadrático da auto-atenção. Para resolver isso, propomos um novo método, Adjacent Token Merging (A-ToMe), que combina gradualmente tokens adjacentes com altas pontuações de similaridade entre seus valores-chave. Dessa forma, o número total de passos de tempo pode ser reduzido, e a inferência tanto do codificador quanto da rede conjunta é acelerada. Experimentos no LibriSpeech mostram que nosso método pode reduzir 57% dos tokens e melhorar a velocidade de inferência em GPU em 70% sem perda significativa de precisão. Além disso, demonstramos que o A-ToMe também é uma solução eficaz para reduzir tokens em ASR de longa duração, onde a fala de entrada consiste em múltiplas enunciados.

English

Recent end-to-end automatic speech recognition (ASR) systems often utilize a Transformer-based acoustic encoder that generates embedding at a high frame rate. However, this design is inefficient, particularly for long speech signals due to the quadratic computation of self-attention. To address this, we propose a new method, Adjacent Token Merging (A-ToMe), which gradually combines adjacent tokens with high similarity scores between their key values. In this way, the total time step could be reduced, and the inference of both the encoder and joint network is accelerated. Experiments on LibriSpeech show that our method can reduce 57% of tokens and improve the inference speed on GPU by 70% without any notable loss of accuracy. Additionally, we demonstrate that A-ToMe is also an effective solution to reduce tokens in long-form ASR, where the input speech consists of multiple utterances.