Naar snelle meertalige LLM-inferentie: Speculatieve decodering en gespecialiseerde ontwerpers
Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters
June 24, 2024
Auteurs: Euiin Yi, Taehyeon Kim, Hongseok Jeung, Du-Seong Chang, Se-Young Yun
cs.AI
Samenvatting
Grote taalmmodellen (LLMs) hebben een revolutie teweeggebracht in natuurlijke taalverwerking en hun toepasbaarheid uitgebreid naar diverse commerciële toepassingen. De inzet van deze modellen wordt echter beperkt door de hoge inferentietijd in meertalige omgevingen. Om deze uitdaging te mitigeren, onderzoekt dit artikel een trainingsmethode voor een assistent-model in speculatieve decodering, waarbij het model wordt gebruikt om tokens te ontwerpen die vervolgens worden geverifieerd door het doel-LLM. We tonen aan dat taalspecifieke ontwerpmodellen, geoptimaliseerd via een gerichte vooraf-trainen-en-finetunen strategie, een aanzienlijke versnelling van de inferentietijd opleveren in vergelijking met eerdere methoden. We valideren deze modellen in verschillende talen op het gebied van inferentietijd, snelheidsverbetering buiten het domein en GPT-4o-evaluatie.
English
Large language models (LLMs) have revolutionized natural language processing
and broadened their applicability across diverse commercial applications.
However, the deployment of these models is constrained by high inference time
in multilingual settings. To mitigate this challenge, this paper explores a
training recipe of an assistant model in speculative decoding, which are
leveraged to draft and-then its future tokens are verified by the target LLM.
We show that language-specific draft models, optimized through a targeted
pretrain-and-finetune strategy, substantially brings a speedup of inference
time compared to the previous methods. We validate these models across various
languages in inference time, out-of-domain speedup, and GPT-4o evaluation.