Lookback Lens: Rilevare e Mitigare Allucinazioni Contestuali nei Modelli Linguistici di Grande Dimensione Utilizzando Solo Mappe di Attenzione

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Autori: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Abstract

Quando viene chiesto di riassumere articoli o rispondere a domande basandosi su un passaggio, i grandi modelli linguistici (LLM) possono generare dettagli fittizi e fornire risposte non supportate che sono inesatte rispetto al contesto di input. Questo articolo descrive un approccio semplice per rilevare tali allucinazioni contestuali. Ipotesizziamo che le allucinazioni contestuali siano correlate alla misura in cui un LLM presta attenzione alle informazioni nel contesto fornito rispetto alle proprie generazioni. Basandoci su questa intuizione, proponiamo un semplice modello di rilevamento delle allucinazioni i cui input sono dati dal rapporto dei pesi di attenzione sul contesto rispetto ai nuovi token generati (per ogni testa di attenzione). Troviamo che un classificatore lineare basato su queste caratteristiche del rapporto di retrospettiva è efficace quanto un rilevatore più complesso che utilizza l'intero stato nascosto di un LLM o un modello di implicazione basato su testo. Il rilevatore basato sul rapporto di retrospettiva -- Lookback Lens -- si dimostra trasferibile tra compiti e persino tra modelli, consentendo a un rilevatore addestrato su un modello da 7B di essere applicato (senza riaddestramento) a un modello più grande da 13B. Applichiamo ulteriormente questo rilevatore per mitigare le allucinazioni contestuali e troviamo che un semplice approccio di decodifica guidata da classificatore è in grado di ridurre la quantità di allucinazioni, ad esempio del 9,6% nel compito di riassunto XSum.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.