DoLa: Dekodierung durch Kontrastierung von Schichten verbessert die Faktentreue in großen Sprachmodellen

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

September 7, 2023

Autoren: Yung-Sung Chuang, Yujia Xie, Hongyin Luo, Yoon Kim, James Glass, Pengcheng He

cs.AI

Zusammenfassung

Trotz ihrer beeindruckenden Fähigkeiten neigen große Sprachmodelle (LLMs) zu Halluzinationen, d.h. zur Erzeugung von Inhalten, die von den während des Vortrainings gesehenen Fakten abweichen. Wir schlagen eine einfache Dekodierungsstrategie zur Reduzierung von Halluzinationen bei vortrainierten LLMs vor, die weder eine Konditionierung auf abgerufenes externes Wissen noch zusätzliches Fine-Tuning erfordert. Unser Ansatz ermittelt die nächste-Token-Verteilung, indem die Unterschiede in den Logits, die durch die Projektion der späteren Schichten im Vergleich zu den früheren Schichten in den Vokabularraum erhalten werden, kontrastiert werden. Dabei wird die Tatsache ausgenutzt, dass sich faktisches Wissen in LLMs in der Regel auf bestimmte Transformer-Schichten konzentriert. Wir stellen fest, dass dieser Ansatz des Dekodierens durch Kontrastierung von Schichten (Decoding by Contrasting Layers, DoLa) in der Lage ist, faktisches Wissen besser hervorzuheben und die Erzeugung falscher Fakten zu reduzieren. DoLa verbessert kontinuierlich die Wahrhaftigkeit bei Multiple-Choice-Aufgaben und offenen Generierungsaufgaben. So steigert es beispielsweise die Leistung der LLaMA-Modellfamilie bei TruthfulQA um 12-17 Prozentpunkte, was sein Potenzial zeigt, LLMs zuverlässig wahrheitsgemäße Fakten generieren zu lassen.

English

Despite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple decoding strategy for reducing hallucinations with pretrained LLMs that does not require conditioning on retrieved external knowledge nor additional fine-tuning. Our approach obtains the next-token distribution by contrasting the differences in logits obtained from projecting the later layers versus earlier layers to the vocabulary space, exploiting the fact that factual knowledge in an LLMs has generally been shown to be localized to particular transformer layers. We find that this Decoding by Contrasting Layers (DoLa) approach is able to better surface factual knowledge and reduce the generation of incorrect facts. DoLa consistently improves the truthfulness across multiple choices tasks and open-ended generation tasks, for example improving the performance of LLaMA family models on TruthfulQA by 12-17% absolute points, demonstrating its potential in making LLMs reliably generate truthful facts.