Squelette-de-Pensée : Les grands modèles de langage peuvent réaliser un décodage parallèle

Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding

July 28, 2023

Auteurs: Xuefei Ning, Zinan Lin, Zixuan Zhou, Huazhong Yang, Yu Wang

cs.AI

Résumé

Ce travail vise à réduire la latence de génération de bout en bout des grands modèles de langage (LLM). L'une des principales causes de cette latence élevée est l'approche de décodage séquentiel adoptée par presque tous les LLM de pointe. Dans cette étude, inspirés par le processus de réflexion et d'écriture humain, nous proposons le "Skeleton-of-Thought" (SoT), qui guide les LLM à générer d'abord le squelette de la réponse, puis à effectuer des appels d'API parallèles ou un décodage par lots pour compléter le contenu de chaque point du squelette en parallèle. Non seulement le SoT offre une accélération considérable (jusqu'à 2,39x sur 11 LLM différents), mais il peut également potentiellement améliorer la qualité des réponses sur plusieurs catégories de questions en termes de diversité et de pertinence. Le SoT constitue une première tentative d'optimisation centrée sur les données pour l'efficacité, et révèle le potentiel d'amener les LLM à penser davantage comme un humain pour la qualité des réponses.

English

This work aims at decreasing the end-to-end generation latency of large language models (LLMs). One of the major causes of the high generation latency is the sequential decoding approach adopted by almost all state-of-the-art LLMs. In this work, motivated by the thinking and writing process of humans, we propose "Skeleton-of-Thought" (SoT), which guides LLMs to first generate the skeleton of the answer, and then conducts parallel API calls or batched decoding to complete the contents of each skeleton point in parallel. Not only does SoT provide considerable speed-up (up to 2.39x across 11 different LLMs), but it can also potentially improve the answer quality on several question categories in terms of diversity and relevance. SoT is an initial attempt at data-centric optimization for efficiency, and reveal the potential of pushing LLMs to think more like a human for answer quality.