DeCoRe: Декодирование путем контрастирования извлекающих голов для смягчения галлюцинаций

DeCoRe: Decoding by Contrasting Retrieval Heads to Mitigate Hallucinations

October 24, 2024

Авторы: Aryo Pradipta Gema, Chen Jin, Ahmed Abdulaal, Tom Diethe, Philip Teare, Beatrice Alex, Pasquale Minervini, Amrutha Saseendran

cs.AI

Аннотация

Большие языковые модели (LLM) часто генерируют галлюцинации, создавая недостоверные или фактически неверные выводы путем искажения предоставленного контекста или неправильного воспоминания внутренних знаний. Недавние исследования выявили конкретные головы внимания в архитектуре Трансформера, известные как головы извлечения, ответственные за извлечение соответствующей контексту информации. Мы предполагаем, что маскирование этих голов извлечения может вызывать галлюцинации и что сравнение выводов базовой LLM и маскированной LLM может снизить галлюцинации. В этой связи мы предлагаем Декодирование путем контрастирования голов извлечения (DeCoRe), новую стратегию декодирования без обучения, которая усиливает информацию, найденную в контексте и параметрах модели. DeCoRe смягчает потенциально галлюцинированные ответы путем динамического сравнения выводов базовой LLM и маскированной LLM с использованием условной энтропии в качестве руководства. Наши обширные эксперименты подтверждают, что DeCoRe значительно улучшает производительность на задачах, требующих высокой верности контексту, таких как суммаризация (XSum на 18,6%), следование инструкциям (MemoTrap на 10,9%) и ответы на вопросы по открытым источникам (NQ-Open на 2,4% и NQ-Swap на 5,5%).

English

Large Language Models (LLMs) often hallucinate, producing unfaithful or factually incorrect outputs by misrepresenting the provided context or incorrectly recalling internal knowledge. Recent studies have identified specific attention heads within the Transformer architecture, known as retrieval heads, responsible for extracting relevant contextual information. We hypothesise that masking these retrieval heads can induce hallucinations and that contrasting the outputs of the base LLM and the masked LLM can reduce hallucinations. To this end, we propose Decoding by Contrasting Retrieval Heads (DeCoRe), a novel training-free decoding strategy that amplifies information found in the context and model parameters. DeCoRe mitigates potentially hallucinated responses by dynamically contrasting the outputs of the base LLM and the masked LLM, using conditional entropy as a guide. Our extensive experiments confirm that DeCoRe significantly improves performance on tasks requiring high contextual faithfulness, such as summarisation (XSum by 18.6%), instruction following (MemoTrap by 10.9%), and open-book question answering (NQ-Open by 2.4% and NQ-Swap by 5.5%).