Линза Lookback: Обнаружение и смягчение контекстуальных галлюцинаций в больших языковых моделях с использованием только карт внимания

Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

July 9, 2024

Авторы: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass

cs.AI

Аннотация

При запросе на краткое изложение статей или ответа на вопросы по заданному тексту большие языковые модели (LLM) могут выдумывать детали и отвечать необоснованными ответами, которые не соответствуют контексту ввода. В данной статье описывается простой подход к обнаружению таких контекстуальных галлюцинаций. Мы предполагаем, что контекстуальные галлюцинации связаны с тем, насколько LLM обращает внимание на информацию в предоставленном контексте по сравнению с собственными генерациями. Исходя из этого предположения, мы предлагаем простую модель обнаружения галлюцинаций, входные признаки которой представлены отношением весов внимания к контексту по сравнению с новыми сгенерированными токенами (для каждой головы внимания). Мы обнаружили, что линейный классификатор на основе этих признаков соотношения внимания так же эффективен, как более сложный детектор, использующий все скрытые состояния LLM или модель утверждения на основе текста. Детектор на основе соотношения взгляда назад - Lookback Lens - показал способность к передаче между задачами и даже моделями, позволяя применить детектор, обученный на модели 7B, к более крупной модели 13B без повторного обучения. Мы также применили этот детектор для смягчения контекстуальных галлюцинаций и обнаружили, что простой подход декодирования с помощью классификатора способен уменьшить количество галлюцинаций, например, на 9,6% в задаче суммирования XSum.

English

When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.