Rückblicklinse: Erkennung und Minderung von Kontext-Halluzinationen in großen Sprachmodellen unter Verwendung nur von Aufmerksamkeitskarten

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Autoren: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Zusammenfassung

Bei der Zusammenfassung von Artikeln oder der Beantwortung von Fragen zu einem Text können große Sprachmodelle (LLMs) Details erfinden und mit unbegründeten Antworten reagieren, die im Hinblick auf den Eingangskontext ungenau sind. Dieser Artikel beschreibt einen einfachen Ansatz zur Erkennung solcher kontextuellen Halluzinationen. Wir vermuten, dass kontextuelle Halluzinationen mit dem Ausmaß zusammenhängen, in dem ein LLM Informationen im bereitgestellten Kontext im Vergleich zu seinen eigenen Erzeugungen beachtet. Basierend auf dieser Intuition schlagen wir ein einfaches Halluzinationsdetektionsmodell vor, dessen Eingabemerkmale durch das Verhältnis der Aufmerksamkeitsgewichte auf den Kontext versus neu generierte Token (für jeden Aufmerksamkeitskopf) gegeben sind. Wir stellen fest, dass ein linearer Klassifizierer, der auf diesen Lookback-Verhältnismerkmalen basiert, genauso effektiv ist wie ein umfassenderer Detektor, der die gesamten verborgenen Zustände eines LLM oder ein textbasiertes Implikationsmodell verwendet. Der auf dem Lookback-Verhältnis basierende Detektor - Lookback Lens - lässt sich über Aufgaben und sogar Modelle hinweg übertragen, sodass ein Detektor, der auf einem 7B-Modell trainiert ist, auf ein größeres 13B-Modell angewendet werden kann (ohne erneute Schulung). Wir wenden diesen Detektor weiterhin an, um kontextuelle Halluzinationen zu mildern, und stellen fest, dass ein einfacher klassifizierergesteuerter Dekodierungsansatz die Menge an Halluzinationen reduzieren kann, beispielsweise um 9,6 % bei der XSum-Zusammenfassungsaufgabe.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.