Richtung schneller mehrsprachiger LLM-Inferenz: Spekulatives Decodieren und spezialisierte Entwürfe

Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters

June 24, 2024

Autoren: Euiin Yi, Taehyeon Kim, Hongseok Jeung, Du-Seong Chang, Se-Young Yun

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die Verarbeitung natürlicher Sprache revolutioniert und ihre Anwendbarkeit auf vielfältige kommerzielle Anwendungen erweitert. Allerdings wird der Einsatz dieser Modelle durch lange Inferenzzeiten in mehrsprachigen Umgebungen eingeschränkt. Um diese Herausforderung zu mildern, erforscht diese Arbeit ein Trainingsrezept für ein Assistentenmodell im spekulativen Decodieren, das genutzt wird, um Entwürfe zu erstellen, deren zukünftige Token dann vom Ziel-LLM überprüft werden. Wir zeigen, dass sprachspezifische Entwurfsmodelle, die durch eine gezielte Vorabtrainings- und Feinabstimmungsstrategie optimiert sind, die Inferenzzeit im Vergleich zu früheren Methoden erheblich beschleunigen. Wir validieren diese Modelle in Bezug auf verschiedene Sprachen hinsichtlich Inferenzzeit, Beschleunigung außerhalb des Domänenkontexts und GPT-4o-Bewertung.

English

Large language models (LLMs) have revolutionized natural language processing and broadened their applicability across diverse commercial applications. However, the deployment of these models is constrained by high inference time in multilingual settings. To mitigate this challenge, this paper explores a training recipe of an assistant model in speculative decoding, which are leveraged to draft and-then its future tokens are verified by the target LLM. We show that language-specific draft models, optimized through a targeted pretrain-and-finetune strategy, substantially brings a speedup of inference time compared to the previous methods. We validate these models across various languages in inference time, out-of-domain speedup, and GPT-4o evaluation.