Verso un'Inferenza Veloce per Modelli Linguistici Multilingue: Decodifica Speculativa e Generatori Specializzati

Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters

June 24, 2024

Autori: Euiin Yi, Taehyeon Kim, Hongseok Jeung, Du-Seong Chang, Se-Young Yun

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno rivoluzionato l'elaborazione del linguaggio naturale e ampliato la loro applicabilità in diversi contesti commerciali. Tuttavia, l'implementazione di questi modelli è limitata dagli elevati tempi di inferenza in contesti multilingue. Per mitigare questa sfida, questo articolo esplora una strategia di addestramento di un modello assistente nel decoding speculativo, che viene utilizzato per generare bozze e poi verificarne i token futuri tramite il modello LLM target. Dimostriamo che modelli di bozza specifici per lingua, ottimizzati attraverso una strategia mirata di pre-addestramento e fine-tuning, riducono significativamente i tempi di inferenza rispetto ai metodi precedenti. Validiamo questi modelli in diverse lingue in termini di tempo di inferenza, velocizzazione fuori dominio e valutazione con GPT-4o.

English

Large language models (LLMs) have revolutionized natural language processing and broadened their applicability across diverse commercial applications. However, the deployment of these models is constrained by high inference time in multilingual settings. To mitigate this challenge, this paper explores a training recipe of an assistant model in speculative decoding, which are leveraged to draft and-then its future tokens are verified by the target LLM. We show that language-specific draft models, optimized through a targeted pretrain-and-finetune strategy, substantially brings a speedup of inference time compared to the previous methods. We validate these models across various languages in inference time, out-of-domain speedup, and GPT-4o evaluation.