Lente de Retroceso: Detectando y Mitigando Alucinaciones Contextuales en Modelos de Lenguaje Grandes Utilizando Solo Mapas de Atención

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Autores: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Resumen

Cuando se les pide resumir artículos o responder preguntas dadas un pasaje, los modelos de lenguaje grandes (LLMs) pueden alucinar detalles y responder con respuestas no fundamentadas que son inexactas con respecto al contexto de entrada. Este artículo describe un enfoque simple para detectar tales alucinaciones contextuales. Hipotetizamos que las alucinaciones contextuales están relacionadas con la medida en que un LLM presta atención a la información en el contexto proporcionado versus sus propias generaciones. Basándonos en esta intuición, proponemos un modelo de detección de alucinaciones simple cuyas características de entrada vienen dadas por la proporción de pesos de atención en el contexto versus los tokens recién generados (para cada cabeza de atención). Descubrimos que un clasificador lineal basado en estas características de proporción de revisión es tan efectivo como un detector más completo que utiliza todos los estados ocultos de un LLM o un modelo de inferencia basado en texto. Se encontró que el detector basado en la proporción de revisión, denominado Lente de Revisión, se transfiere entre tareas e incluso modelos, lo que permite que un detector entrenado en un modelo de 7B se aplique (sin necesidad de volver a entrenar) a un modelo más grande de 13B. Además, aplicamos este detector para mitigar las alucinaciones contextuales, y descubrimos que un enfoque de decodificación guiado por un clasificador simple puede reducir la cantidad de alucinaciones, por ejemplo, en un 9.6% en la tarea de resumen XSum.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.