MobileNMT: Abilitare la traduzione in 15MB e 30ms
MobileNMT: Enabling Translation in 15MB and 30ms
June 7, 2023
Autori: Ye Lin, Xiaohui Wang, Zhexi Zhang, Mingxuan Wang, Tong Xiao, Jingbo Zhu
cs.AI
Abstract
Il dispiegamento di modelli NMT su dispositivi mobili è essenziale per garantire privacy, bassa latenza e scenari offline. Per ottenere un'elevata capacità del modello, i modelli NMT sono piuttosto grandi. Eseguire questi modelli sui dispositivi è impegnativo a causa della limitata capacità di archiviazione, memoria, elaborazione e consumo energetico. Il lavoro esistente si concentra principalmente su una singola metrica, come i FLOP, o su motori generali che non sono ottimizzati per il decoding auto-regressivo. In questo articolo, presentiamo MobileNMT, un sistema in grado di tradurre in 15MB e 30ms sui dispositivi. Proponiamo una serie di principi per la compressione del modello quando combinata con la quantizzazione. Inoltre, implementiamo un motore che è compatibile con INT8 e il decoding. Con la co-progettazione del modello e del motore, rispetto al sistema esistente, acceleriamo di 47,0x e risparmiamo il 99,5% della memoria con una perdita di solo l'11,6% del punteggio BLEU. Il codice è disponibile pubblicamente all'indirizzo https://github.com/zjersey/Lightseq-ARM.
English
Deploying NMT models on mobile devices is essential for privacy, low latency,
and offline scenarios. For high model capacity, NMT models are rather large.
Running these models on devices is challenging with limited storage, memory,
computation, and power consumption. Existing work either only focuses on a
single metric such as FLOPs or general engine which is not good at
auto-regressive decoding. In this paper, we present MobileNMT, a system that
can translate in 15MB and 30ms on devices. We propose a series of principles
for model compression when combined with quantization. Further, we implement an
engine that is friendly to INT8 and decoding. With the co-design of model and
engine, compared with the existing system, we speed up 47.0x and save 99.5% of
memory with only 11.6% loss of BLEU. The code is publicly available at
https://github.com/zjersey/Lightseq-ARM.