Lookback Lens : Détection et atténuation des hallucinations contextuelles dans les grands modèles de langage en utilisant uniquement les cartes d'attention

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Auteurs: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Résumé

Lorsqu'on leur demande de résumer des articles ou de répondre à des questions à partir d'un passage, les grands modèles de langage (LLMs) peuvent inventer des détails et fournir des réponses non fondées qui sont inexactes par rapport au contexte fourni. Cet article décrit une approche simple pour détecter de telles hallucinations contextuelles. Nous émettons l'hypothèse que les hallucinations contextuelles sont liées à la mesure dans laquelle un LLM prête attention aux informations du contexte fourni par rapport à ses propres générations. Sur la base de cette intuition, nous proposons un modèle simple de détection des hallucinations dont les caractéristiques d'entrée sont données par le rapport des poids d'attention sur le contexte par rapport aux nouveaux tokens générés (pour chaque tête d'attention). Nous constatons qu'un classifieur linéaire basé sur ces caractéristiques de rapport de rétrospection est aussi efficace qu'un détecteur plus sophistiqué qui utilise l'ensemble des états cachés d'un LLM ou un modèle d'inférence textuelle. Le détecteur basé sur le rapport de rétrospection -- appelé Lookback Lens -- s'avère transférable entre les tâches et même entre les modèles, permettant à un détecteur entraîné sur un modèle de 7B d'être appliqué (sans réentraînement) à un modèle plus grand de 13B. Nous appliquons ensuite ce détecteur pour atténuer les hallucinations contextuelles, et constatons qu'une approche simple de décodage guidé par classifieur permet de réduire la quantité d'hallucinations, par exemple de 9,6 % dans la tâche de résumé XSum.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.