LiteASR: Reconocimiento Automático del Habla Eficiente con Aproximación de Bajo Rango

LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation

February 27, 2025

Autores: Keisuke Kamahori, Jungo Kasai, Noriyuki Kojima, Baris Kasikci

cs.AI

Resumen

Los modelos modernos de reconocimiento automático del habla (ASR, por sus siglas en inglés), como Whisper de OpenAI, se basan en arquitecturas profundas de codificador-decodificador, y sus codificadores representan un cuello de botella crítico para un despliegue eficiente debido a su alta intensidad computacional. Presentamos LiteASR, un esquema de compresión de bajo rango para los codificadores de ASR que reduce significativamente los costos de inferencia mientras mantiene la precisión en la transcripción. Nuestro enfoque aprovecha las fuertes propiedades de bajo rango observadas en las activaciones intermedias: al aplicar análisis de componentes principales (PCA, por sus siglas en inglés) con un pequeño conjunto de datos de calibración, aproximamos las transformaciones lineales con una cadena de multiplicaciones de matrices de bajo rango, y optimizamos aún más la autoatención para funcionar en la dimensión reducida. Los resultados de evaluación muestran que nuestro método puede comprimir el tamaño del codificador de Whisper large-v3 en más del 50%, igualando el tamaño de Whisper medium con una mejor precisión en la transcripción, estableciendo así una nueva frontera Pareto-óptima de eficiencia y rendimiento. El código de LiteASR está disponible en https://github.com/efeslab/LiteASR.

English

Modern automatic speech recognition (ASR) models, such as OpenAI's Whisper, rely on deep encoder-decoder architectures, and their encoders are a critical bottleneck for efficient deployment due to high computational intensity. We introduce LiteASR, a low-rank compression scheme for ASR encoders that significantly reduces inference costs while maintaining transcription accuracy. Our approach leverages the strong low-rank properties observed in intermediate activations: by applying principal component analysis (PCA) with a small calibration dataset, we approximate linear transformations with a chain of low-rank matrix multiplications, and further optimize self-attention to work in the reduced dimension. Evaluation results show that our method can compress Whisper large-v3's encoder size by over 50%, matching Whisper medium's size with better transcription accuracy, thereby establishing a new Pareto-optimal frontier of efficiency and performance. The code of LiteASR is available at https://github.com/efeslab/LiteASR.