Тандемные трансформаторы для эффективного вывода больших языковых моделей

Tandem Transformers for Inference Efficient LLMs

February 13, 2024

Авторы: Aishwarya P S, Pranav Ajit Nair, Yashas Samaga, Toby Boyd, Sanjiv Kumar, Prateek Jain, Praneeth Netrapalli

cs.AI

Аннотация

Авторегрессивная природа традиционных больших языковых моделей (LLM) неизбежно ограничивает скорость вывода, поскольку токены генерируются последовательно. Хотя спекулятивные и параллельные методы декодирования пытаются смягчить это ограничение, они сталкиваются с проблемами: либо полагаются на менее точные небольшие модели для генерации, либо не могут полностью использовать представления базовой LLM. Мы представляем новую архитектуру, Tandem transformers, для решения этих проблем. Эта архитектура уникальным образом сочетает (1) небольшую авторегрессивную модель и (2) крупную модель, работающую в блочном режиме (обрабатывающую несколько токенов одновременно). Точность предсказания небольшой модели значительно повышается за счет предоставления ей доступа к более богатым представлениям крупной модели. На наборе данных предварительного обучения PaLM2 тандем из PaLM2-Bison и PaLM2-Gecko демонстрирует улучшение точности предсказания следующего токена на 3,3% по сравнению с автономной PaLM2-Gecko, обеспечивая ускорение в 1,16 раза по сравнению с моделью PaLM2-Otter при сопоставимой производительности на последующих задачах. Мы также интегрируем тандемную модель в рамках спекулятивного декодирования (SPEED), где крупная модель проверяет токены, сгенерированные небольшой моделью. Это гарантирует, что тандем из PaLM2-Bison и PaLM2-Gecko достигает значительного ускорения (примерно в 1,14 раза быстрее, чем использование стандартной PaLM2-Gecko в SPEED), сохраняя при этом идентичную точность на последующих задачах.

English

The autoregressive nature of conventional large language models (LLMs) inherently limits inference speed, as tokens are generated sequentially. While speculative and parallel decoding techniques attempt to mitigate this, they face limitations: either relying on less accurate smaller models for generation or failing to fully leverage the base LLM's representations. We introduce a novel architecture, Tandem transformers, to address these issues. This architecture uniquely combines (1) a small autoregressive model and (2) a large model operating in block mode (processing multiple tokens simultaneously). The small model's predictive accuracy is substantially enhanced by granting it attention to the large model's richer representations. On the PaLM2 pretraining dataset, a tandem of PaLM2-Bison and PaLM2-Gecko demonstrates a 3.3% improvement in next-token prediction accuracy over a standalone PaLM2-Gecko, offering a 1.16x speedup compared to a PaLM2-Otter model with comparable downstream performance. We further incorporate the tandem model within the speculative decoding (SPEED) framework where the large model validates tokens from the small model. This ensures that the Tandem of PaLM2-Bison and PaLM2-Gecko achieves substantial speedup (around 1.14x faster than using vanilla PaLM2-Gecko in SPEED) while maintaining identical downstream task accuracy.