Groepsgewijze Query Experts: Mengsel van Experts op GQA Zelf-Aandacht

Samenvatting

Zelf-attentie staat centraal in de prestaties van Transformers en is vaak het duurste onderdeel van de Transformer bij lange contextlengtes, omdat de paarsgewijze tokeninteracties kwadratisch schalen met de sequentielengte. Standaard dichte aandacht past ook dezelfde set aandachtskoppen toe op elk token, ongeacht de tokenmoeilijkheid of informatie-inhoud. Deze uniforme activatie kan rekenkracht verspillen, vooral naarmate sequenties langer worden en de attentiekosten snel toenemen. We stellen Groepsgewijze Query Experts (GQE) voor, een mixture-of-experts-laag bovenop groepsgewijze query-aandacht (GQA). Binnen elke GQA-groep selecteert een router k query-kop-experts per token, terwijl alle sleutel-waarde (KV) koppen dicht en onveranderd blijven. Dus behoudt GQE de KV-cache-voordelen van GQA en vermindert het alleen de actieve query-kop-berekening. Bij een vast tokenbudget van 30B op de parameterschaal van 250M evenaart GQE de volledig actieve GQA-baseline in downstream-nauwkeurigheid, terwijl het de helft van de query-koppen per token activeert.

English

Self-attention is central to Transformer performance and is often the most expensive part of the Transformer at long context lengths because its pairwise token interactions scale quadratically with sequence length. Standard dense attention also applies the same set of attention heads to every token regardless of token difficulty or information content. This uniform activation can waste compute, especially as sequences grow longer and attention cost increases rapidly. We propose Grouped Query Experts (GQE), a mixture-of-experts layer on top of grouped-query attention (GQA). Within each GQA group, a router selects k query-head experts per token while all key-value (KV) heads remain dense and unchanged. Thus, GQE keeps the KV cache benefits of GQA and reduces only the active query-head computation. On a fixed 30B token budget at the 250M parameter scale, GQE matches the all-active GQA baseline in downstream accuracy while activating half the query heads per token.