Внимание механизмов в больших языковых моделях: обзор

Attention Heads of Large Language Models: A Survey

September 5, 2024

Авторы: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Аннотация

С момента появления ChatGPT крупные языковые модели (LLMs) демонстрируют выдающиеся результаты в различных задачах, но по-прежнему остаются в значительной степени системами типа «черного ящика». Как следствие, их разработка в основном опирается на подходы, основанные на данных, что ограничивает повышение производительности за счет изменений внутренней архитектуры и путей рассуждений. В результате многие исследователи начали изучать потенциальные внутренние механизмы LLM, стремясь определить суть узких мест в их рассуждениях, причем большинство исследований сосредоточено на головах внимания. Цель нашего обзора — пролить свет на внутренние процессы рассуждений LLM, сконцентрировавшись на интерпретируемости и базовых механизмах голов внимания. Сначала мы абстрагируем человеческий мыслительный процесс в виде четырехэтапной структуры: Вспоминание Знаний, Контекстная Идентификация, Скрытое Рассуждение и Подготовка Выражения. Используя эту структуру, мы систематически анализируем существующие исследования, чтобы выявить и классифицировать функции конкретных голов внимания. Кроме того, мы обобщаем экспериментальные методики, используемые для обнаружения этих специальных голов, разделяя их на две категории: методы, не требующие моделирования (Modeling-Free), и методы, требующие моделирования (Modeling-Required). Также мы описываем соответствующие методы оценки и бенчмарки. Наконец, мы обсуждаем ограничения текущих исследований и предлагаем несколько потенциальных направлений для будущей работы. Наш список литературы находится в открытом доступе по адресу https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.