Vers une inférence rapide des LLM multilingues : décodage spéculatif et modèles rédacteurs spécialisés

Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters

June 24, 2024

Auteurs: Euiin Yi, Taehyeon Kim, Hongseok Jeung, Du-Seong Chang, Se-Young Yun

cs.AI

Résumé

Les grands modèles de langage (LLM) ont révolutionné le traitement du langage naturel et élargi leur applicabilité à divers usages commerciaux. Cependant, le déploiement de ces modèles est limité par des temps d'inférence élevés dans des contextes multilingues. Pour atténuer ce défi, cet article explore une méthode d'entraînement d'un modèle assistant dans le cadre du décodage spéculatif, où ce dernier est utilisé pour générer des propositions de tokens qui sont ensuite vérifiés par le LLM cible. Nous démontrons que des modèles de proposition spécifiques à chaque langue, optimisés grâce à une stratégie ciblée de pré-entraînement et de fine-tuning, permettent d'accélérer significativement le temps d'inférence par rapport aux méthodes précédentes. Nous validons ces modèles sur plusieurs langues en mesurant le temps d'inférence, l'accélération hors domaine et l'évaluation par GPT-4o.

English

Large language models (LLMs) have revolutionized natural language processing and broadened their applicability across diverse commercial applications. However, the deployment of these models is constrained by high inference time in multilingual settings. To mitigate this challenge, this paper explores a training recipe of an assistant model in speculative decoding, which are leveraged to draft and-then its future tokens are verified by the target LLM. We show that language-specific draft models, optimized through a targeted pretrain-and-finetune strategy, substantially brings a speedup of inference time compared to the previous methods. We validate these models across various languages in inference time, out-of-domain speedup, and GPT-4o evaluation.