Lookback Lens: Detecteren en Mitigeren van Contextuele Hallucinaties in Grote Taalmodellen met Uitsluitend Gebruik van Attention Maps

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Auteurs: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Samenvatting

Wanneer grote taalmodellen (LLMs) worden gevraagd om artikelen samen te vatten of vragen te beantwoorden op basis van een gegeven passage, kunnen ze details verzinnen en reageren met ongefundeerde antwoorden die onnauwkeurig zijn ten opzichte van de ingevoerde context. Dit artikel beschrijft een eenvoudige aanpak voor het detecteren van dergelijke contextuele hallucinaties. We veronderstellen dat contextuele hallucinaties gerelateerd zijn aan de mate waarin een LLM aandacht besteedt aan informatie in de aangeboden context versus zijn eigen generaties. Op basis van deze intuïtie stellen we een eenvoudig hallucinatiedetectiemodel voor waarvan de invoerkenmerken worden gegeven door de verhouding van aandachtswaarden op de context versus nieuw gegenereerde tokens (voor elke aandachtseenheid). We ontdekken dat een lineaire classifier gebaseerd op deze lookback ratio-kenmerken even effectief is als een rijkere detector die gebruikmaakt van de volledige verborgen toestanden van een LLM of een tekstgebaseerd entailment-model. De lookback ratio-gebaseerde detector – Lookback Lens – blijkt overdraagbaar te zijn tussen taken en zelfs modellen, waardoor een detector die is getraind op een 7B-model kan worden toegepast (zonder hertraining) op een groter 13B-model. We passen deze detector verder toe om contextuele hallucinaties te verminderen, en ontdekken dat een eenvoudige classifier-gestuurde decodeerbenadering in staat is om de hoeveelheid hallucinatie te verminderen, bijvoorbeeld met 9,6% in de XSum-samenvattings taak.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.