Fast Chain-of-Thought : Un aperçu de l'avenir grâce au décodage parallèle pour des réponses plus rapides

Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster

November 14, 2023

Auteurs: Hongxuan Zhang, Zhining Liu, Jiaqi Zheng, Chenyi Zhuang, Jinjie Gu, Guihai Chen

cs.AI

Résumé

Dans ce travail, nous proposons FastCoT, un cadre modèle-agnostique basé sur un décodage parallèle sans nécessiter d'entraînement supplémentaire d'un modèle auxiliaire ou de modification du LLM lui-même. FastCoT utilise une fenêtre contextuelle de taille variable qui évolue en fonction de la position pour effectuer simultanément un décodage parallèle et un décodage auto-régressif, exploitant ainsi pleinement les ressources de calcul du GPU. Dans FastCoT, la partie de décodage parallèle offre au LLM un aperçu rapide du futur composé de tokens approximatifs, ce qui peut conduire à des réponses plus rapides par rapport au décodage auto-régressif classique utilisé par les transformers causals. Nous fournissons également une implémentation du décodage parallèle au sein du LLM, qui prend en charge la génération de KV-cache et le traitement par lots. À travers des expériences approfondies, nous démontrons que FastCoT réduit le temps d'inférence de près de 20 % avec seulement une baisse de performance négligeable par rapport à l'approche classique. De plus, nous montrons que la taille de la fenêtre contextuelle présente une robustesse considérable pour différentes tâches.

English

In this work, we propose FastCoT, a model-agnostic framework based on parallel decoding without any further training of an auxiliary model or modification to the LLM itself. FastCoT uses a size-varying context window whose size changes with position to conduct parallel decoding and auto-regressive decoding simultaneously, thus fully utilizing GPU computation resources. In FastCoT, the parallel decoding part provides the LLM with a quick glance of the future composed of approximate tokens, which could lead to faster answers compared to regular autoregressive decoding used by causal transformers. We also provide an implementation of parallel decoding within LLM, which supports KV-cache generation and batch processing. Through extensive experiments, we demonstrate that FastCoT saves inference time by nearly 20% with only a negligible performance drop compared to the regular approach. Additionally, we show that the context window size exhibits considerable robustness for different tasks.