DoLa: Decodificação por Contraste de Camadas Melhora a Factualidade em Modelos de Linguagem de Grande Escala

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

September 7, 2023

Autores: Yung-Sung Chuang, Yujia Xie, Hongyin Luo, Yoon Kim, James Glass, Pengcheng He

cs.AI

Resumo

Apesar de suas capacidades impressionantes, os grandes modelos de linguagem (LLMs) são propensos a alucinações, ou seja, gerar conteúdo que se desvia dos fatos vistos durante o pré-treinamento. Propomos uma estratégia simples de decodificação para reduzir alucinações em LLMs pré-treinados que não requer condicionamento em conhecimento externo recuperado nem ajuste fino adicional. Nossa abordagem obtém a distribuição do próximo token contrastando as diferenças nos logits obtidos da projeção das camadas posteriores versus as camadas anteriores no espaço de vocabulário, explorando o fato de que o conhecimento factual em LLMs geralmente foi mostrado estar localizado em camadas específicas do transformador. Descobrimos que essa abordagem de Decodificação por Contraste de Camadas (DoLa) é capaz de melhor evidenciar o conhecimento factual e reduzir a geração de fatos incorretos. O DoLa melhora consistentemente a veracidade em tarefas de múltipla escolha e tarefas de geração aberta, por exemplo, melhorando o desempenho dos modelos da família LLaMA no TruthfulQA em 12-17 pontos percentuais absolutos, demonstrando seu potencial em fazer com que LLMs gerem fatos verdadeiros de forma confiável.

English

Despite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple decoding strategy for reducing hallucinations with pretrained LLMs that does not require conditioning on retrieved external knowledge nor additional fine-tuning. Our approach obtains the next-token distribution by contrasting the differences in logits obtained from projecting the later layers versus earlier layers to the vocabulary space, exploiting the fact that factual knowledge in an LLMs has generally been shown to be localized to particular transformer layers. We find that this Decoding by Contrasting Layers (DoLa) approach is able to better surface factual knowledge and reduce the generation of incorrect facts. DoLa consistently improves the truthfulness across multiple choices tasks and open-ended generation tasks, for example improving the performance of LLaMA family models on TruthfulQA by 12-17% absolute points, demonstrating its potential in making LLMs reliably generate truthful facts.