Skeleton-of-Thought: Große Sprachmodelle können parallele Dekodierung durchführen

Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding

July 28, 2023

Autoren: Xuefei Ning, Zinan Lin, Zixuan Zhou, Huazhong Yang, Yu Wang

cs.AI

Zusammenfassung

Diese Arbeit zielt darauf ab, die end-to-end-Generierungslatenz von großen Sprachmodellen (LLMs) zu verringern. Eine der Hauptursachen für die hohe Generierungslatenz ist der sequenzielle Dekodierungsansatz, der von nahezu allen state-of-the-art LLMs verwendet wird. In dieser Arbeit schlagen wir, motiviert durch den Denk- und Schreibprozess von Menschen, "Skeleton-of-Thought" (SoT) vor, das LLMs dazu anleitet, zunächst das Skelett der Antwort zu generieren und dann parallele API-Aufrufe oder gebündelte Dekodierung durchzuführen, um die Inhalte jedes Skelettpunkts parallel zu vervollständigen. SoT bietet nicht nur eine beträchtliche Beschleunigung (bis zu 2,39x über 11 verschiedene LLMs hinweg), sondern kann auch die Antwortqualität in mehreren Fragekategorien in Bezug auf Diversität und Relevanz potenziell verbessern. SoT ist ein erster Versuch einer datenzentrierten Optimierung für Effizienz und zeigt das Potenzial auf, LLMs dazu zu bringen, mehr wie ein Mensch zu denken, um die Antwortqualität zu steigern.

English

This work aims at decreasing the end-to-end generation latency of large language models (LLMs). One of the major causes of the high generation latency is the sequential decoding approach adopted by almost all state-of-the-art LLMs. In this work, motivated by the thinking and writing process of humans, we propose "Skeleton-of-Thought" (SoT), which guides LLMs to first generate the skeleton of the answer, and then conducts parallel API calls or batched decoding to complete the contents of each skeleton point in parallel. Not only does SoT provide considerable speed-up (up to 2.39x across 11 different LLMs), but it can also potentially improve the answer quality on several question categories in terms of diversity and relevance. SoT is an initial attempt at data-centric optimization for efficiency, and reveal the potential of pushing LLMs to think more like a human for answer quality.