Deja Vu: Контекстная разреженность для эффективных больших языковых моделей во время вывода
Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time
October 26, 2023
Авторы: Zichang Liu, Jue Wang, Tri Dao, Tianyi Zhou, Binhang Yuan, Zhao Song, Anshumali Shrivastava, Ce Zhang, Yuandong Tian, Christopher Re, Beidi Chen
cs.AI
Аннотация
Крупные языковые модели (LLM) с сотнями миллиардов параметров вызвали новую волну захватывающих приложений в области искусственного интеллекта. Однако их использование на этапе вывода требует значительных вычислительных ресурсов. Разреженность (sparsity) является естественным подходом для снижения этих затрат, но существующие методы либо требуют дорогостоящего переобучения, либо вынуждены отказываться от способности LLM к обучению в контексте, либо не обеспечивают ускорения в реальном времени на современном оборудовании. Мы предполагаем, что контекстная разреженность — небольшие, зависящие от входных данных наборы голов внимания и параметров MLP, которые дают приблизительно тот же результат, что и плотная модель для данного входа, — может решить эти проблемы. Мы показываем, что контекстная разреженность существует, её можно точно предсказать, и её можно использовать для ускорения вывода LLM в реальном времени без ущерба для качества модели или её способности к обучению в контексте. На основе этих идей мы предлагаем систему DejaVu, которая использует недорогой алгоритм для предсказания контекстной разреженности на лету для каждого слоя, а также асинхронную и аппаратно-оптимизированную реализацию, ускоряющую вывод LLM. Мы подтверждаем, что DejaVu может снизить задержку вывода модели OPT-175B более чем в 2 раза по сравнению с передовым FasterTransformer и более чем в 6 раз по сравнению с широко используемой реализацией Hugging Face, без ущерба для качества модели. Код доступен по адресу https://github.com/FMInference/DejaVu.
English
Large language models (LLMs) with hundreds of billions of parameters have
sparked a new wave of exciting AI applications. However, they are
computationally expensive at inference time. Sparsity is a natural approach to
reduce this cost, but existing methods either require costly retraining, have
to forgo LLM's in-context learning ability, or do not yield wall-clock time
speedup on modern hardware. We hypothesize that contextual sparsity, which are
small, input-dependent sets of attention heads and MLP parameters that yield
approximately the same output as the dense model for a given input, can address
these issues. We show that contextual sparsity exists, that it can be
accurately predicted, and that we can exploit it to speed up LLM inference in
wall-clock time without compromising LLM's quality or in-context learning
ability. Based on these insights, we propose DejaVu, a system that uses a
low-cost algorithm to predict contextual sparsity on the fly given inputs to
each layer, along with an asynchronous and hardware-aware implementation that
speeds up LLM inference. We validate that DejaVu can reduce the inference
latency of OPT-175B by over 2X compared to the state-of-the-art
FasterTransformer, and over 6X compared to the widely used Hugging Face
implementation, without compromising model quality. The code is available at
https://github.com/FMInference/DejaVu.