DoLa: Decodifica per Contrasto degli Strati Migliora la Fattualità nei Modelli Linguistici di Grande Dimensione

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

September 7, 2023

Autori: Yung-Sung Chuang, Yujia Xie, Hongyin Luo, Yoon Kim, James Glass, Pengcheng He

cs.AI

Abstract

Nonostante le loro impressionanti capacità, i grandi modelli linguistici (LLM) sono inclini a generare allucinazioni, ovvero contenuti che si discostano dai fatti osservati durante il pre-addestramento. Proponiamo una semplice strategia di decodifica per ridurre le allucinazioni nei LLM pre-addestrati che non richiede il condizionamento su conoscenze esterne recuperate né un ulteriore fine-tuning. Il nostro approccio ottiene la distribuzione del token successivo confrontando le differenze nei logit ottenuti proiettando gli strati più profondi rispetto a quelli più superficiali nello spazio del vocabolario, sfruttando il fatto che la conoscenza fattuale in un LLM è generalmente localizzata in specifici strati del trasformatore. Scopriamo che questo approccio di Decodifica per Contrasto degli Strati (DoLa) è in grado di far emergere meglio la conoscenza fattuale e ridurre la generazione di fatti errati. DoLa migliora costantemente la veridicità in compiti a scelta multipla e in compiti di generazione aperta, ad esempio migliorando le prestazioni dei modelli della famiglia LLaMA su TruthfulQA del 12-17% in punti assoluti, dimostrando il suo potenziale nel far sì che i LLM generino fatti veritieri in modo affidabile.

English

Despite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple decoding strategy for reducing hallucinations with pretrained LLMs that does not require conditioning on retrieved external knowledge nor additional fine-tuning. Our approach obtains the next-token distribution by contrasting the differences in logits obtained from projecting the later layers versus earlier layers to the vocabulary space, exploiting the fact that factual knowledge in an LLMs has generally been shown to be localized to particular transformer layers. We find that this Decoding by Contrasting Layers (DoLa) approach is able to better surface factual knowledge and reduce the generation of incorrect facts. DoLa consistently improves the truthfulness across multiple choices tasks and open-ended generation tasks, for example improving the performance of LLaMA family models on TruthfulQA by 12-17% absolute points, demonstrating its potential in making LLMs reliably generate truthful facts.