Эксперты групповых запросов: смесь экспертов на основе самовнимания GQA

Аннотация

Самовнимание лежит в основе производительности трансформеров и зачастую является самой дорогостоящей частью трансформера при работе с длинными контекстами, поскольку его попарные взаимодействия токенов масштабируются квадратично относительно длины последовательности. Стандартное плотное внимание также применяет один и тот же набор голов внимания к каждому токену независимо от его сложности или информационного содержания. Такая универсальная активация может приводить к нерациональному расходованию вычислительных ресурсов, особенно по мере удлинения последовательностей и быстрого роста затрат на внимание. Мы предлагаем Grouped Query Experts (GQE) — слой смеси экспертов поверх группированного внимания по запросам (GQA). Внутри каждой группы GQA маршрутизатор выбирает k экспертов голов запросов для каждого токена, в то время как все головы «ключ-значение» (KV) остаются плотными и неизменными. Таким образом, GQE сохраняет преимущества GQA в виде кэша KV и сокращает только вычисления активных голов запросов. При фиксированном бюджете в 30 миллиардов токенов для модели с 250 миллионами параметров GQE достигает точности итоговой задачи, сопоставимой с базовым вариантом GQA с полной активацией, при этом активируя лишь половину голов запросов на токен.

English

Self-attention is central to Transformer performance and is often the most expensive part of the Transformer at long context lengths because its pairwise token interactions scale quadratically with sequence length. Standard dense attention also applies the same set of attention heads to every token regardless of token difficulty or information content. This uniform activation can waste compute, especially as sequences grow longer and attention cost increases rapidly. We propose Grouped Query Experts (GQE), a mixture-of-experts layer on top of grouped-query attention (GQA). Within each GQA group, a router selects k query-head experts per token while all key-value (KV) heads remain dense and unchanged. Thus, GQE keeps the KV cache benefits of GQA and reduces only the active query-head computation. On a fixed 30B token budget at the 250M parameter scale, GQE matches the all-active GQA baseline in downstream accuracy while activating half the query heads per token.