Nächster-Nachbar-Spekulatives Dekodieren für die Generierung und Zuschreibung von LLM.

Nearest Neighbor Speculative Decoding for LLM Generation and Attribution

May 29, 2024

papers.authors: Minghan Li, Xilun Chen, Ari Holtzman, Beidi Chen, Jimmy Lin, Wen-tau Yih, Xi Victoria Lin

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) halluzinieren oft und können keine Attribution für ihre Generierungen liefern. Semi-parametrische LMs, wie z.B. kNN-LM, umgehen diese Einschränkungen, indem sie die Ausgabe eines LM für einen bestimmten Anstoß verfeinern, indem sie seine nächstgelegenen Nachbarn in einem nicht-parametrischen Datenspeicher verwenden. Diese Modelle zeigen jedoch oft langsame Inferenzgeschwindigkeiten und erzeugen nicht fließende Texte. In diesem Artikel stellen wir Nearest Neighbor Speculative Decoding (NEST) vor, einen neuartigen semi-parametrischen Ansatz zur Sprachmodellierung, der in der Lage ist, Textabschnitte beliebiger Länge aus der realen Welt in die LM-Generierungen zu integrieren und deren Quellen zu benennen. NEST führt auf Token-Ebene eine Rückgewinnung bei jedem Inferenzschritt durch, um eine semi-parametrische Mischverteilung zu berechnen und vielversprechende Abschnittsfortsetzungen in einem Korpus zu identifizieren. Anschließend verwendet es ein ungefähres spekulatives Dekodierungsverfahren, das ein Präfix des abgerufenen Abschnitts akzeptiert oder ein neues Token generiert. NEST verbessert signifikant die Generierungsqualität und die Attributionrate des Basismodells über eine Vielzahl von wissensintensiven Aufgaben hinweg, übertrifft die herkömmliche kNN-LM-Methode und konkurriert erfolgreich mit der In-Context-Rückgewinnungserweiterung. Darüber hinaus verbessert NEST die Generierungsgeschwindigkeit erheblich und erzielt eine 1,8-fache Beschleunigung der Inferenzzeit, wenn es auf Llama-2-Chat 70B angewendet wird.

English

Large language models (LLMs) often hallucinate and lack the ability to provide attribution for their generations. Semi-parametric LMs, such as kNN-LM, approach these limitations by refining the output of an LM for a given prompt using its nearest neighbor matches in a non-parametric data store. However, these models often exhibit slow inference speeds and produce non-fluent texts. In this paper, we introduce Nearest Neighbor Speculative Decoding (NEST), a novel semi-parametric language modeling approach that is capable of incorporating real-world text spans of arbitrary length into the LM generations and providing attribution to their sources. NEST performs token-level retrieval at each inference step to compute a semi-parametric mixture distribution and identify promising span continuations in a corpus. It then uses an approximate speculative decoding procedure that accepts a prefix of the retrieved span or generates a new token. NEST significantly enhances the generation quality and attribution rate of the base LM across a variety of knowledge-intensive tasks, surpassing the conventional kNN-LM method and performing competitively with in-context retrieval augmentation. In addition, NEST substantially improves the generation speed, achieving a 1.8x speedup in inference time when applied to Llama-2-Chat 70B.