Tandem-Transformer für recheneffiziente große Sprachmodelle

Tandem Transformers for Inference Efficient LLMs

February 13, 2024

Autoren: Aishwarya P S, Pranav Ajit Nair, Yashas Samaga, Toby Boyd, Sanjiv Kumar, Prateek Jain, Praneeth Netrapalli

cs.AI

Zusammenfassung

Die autoregressive Natur konventioneller großer Sprachmodelle (LLMs) begrenzt die Inferenzgeschwindigkeit inhärent, da Token sequenziell generiert werden. Während spekulative und parallele Dekodierungstechniken versuchen, dies zu mildern, stoßen sie an Grenzen: Entweder verlassen sie sich auf weniger präzise kleinere Modelle für die Generierung oder nutzen die Repräsentationen des Basis-LLMs nicht vollständig aus. Wir stellen eine neuartige Architektur, Tandem-Transformer, vor, um diese Probleme zu adressieren. Diese Architektur kombiniert einzigartig (1) ein kleines autoregressives Modell und (2) ein großes Modell, das im Blockmodus arbeitet (mehrere Token gleichzeitig verarbeitet). Die Vorhersagegenauigkeit des kleinen Modells wird erheblich verbessert, indem es Zugang zu den reicheren Repräsentationen des großen Modells erhält. Auf dem PaLM2-Pretraining-Datensatz zeigt ein Tandem aus PaLM2-Bison und PaLM2-Gecko eine Verbesserung der nächsten Token-Vorhersagegenauigkeit um 3,3 % gegenüber einem eigenständigen PaLM2-Gecko und bietet eine Beschleunigung um das 1,16-fache im Vergleich zu einem PaLM2-Otter-Modell mit vergleichbarer Downstream-Leistung. Wir integrieren das Tandem-Modell weiterhin in das spekulative Dekodierungsframework (SPEED), bei dem das große Modell die Token des kleinen Modells validiert. Dies stellt sicher, dass das Tandem aus PaLM2-Bison und PaLM2-Gecko eine erhebliche Beschleunigung erreicht (etwa 1,14-mal schneller als die Verwendung von standardmäßigem PaLM2-Gecko in SPEED), während die Genauigkeit bei Downstream-Aufgaben identisch bleibt.

English

The autoregressive nature of conventional large language models (LLMs) inherently limits inference speed, as tokens are generated sequentially. While speculative and parallel decoding techniques attempt to mitigate this, they face limitations: either relying on less accurate smaller models for generation or failing to fully leverage the base LLM's representations. We introduce a novel architecture, Tandem transformers, to address these issues. This architecture uniquely combines (1) a small autoregressive model and (2) a large model operating in block mode (processing multiple tokens simultaneously). The small model's predictive accuracy is substantially enhanced by granting it attention to the large model's richer representations. On the PaLM2 pretraining dataset, a tandem of PaLM2-Bison and PaLM2-Gecko demonstrates a 3.3% improvement in next-token prediction accuracy over a standalone PaLM2-Gecko, offering a 1.16x speedup compared to a PaLM2-Otter model with comparable downstream performance. We further incorporate the tandem model within the speculative decoding (SPEED) framework where the large model validates tokens from the small model. This ensures that the Tandem of PaLM2-Bison and PaLM2-Gecko achieves substantial speedup (around 1.14x faster than using vanilla PaLM2-Gecko in SPEED) while maintaining identical downstream task accuracy.