Encodage de Position Représentationnel de Groupe
Group Representational Position Encoding
December 8, 2025
papers.authors: Yifan Zhang, Zixiang Chen, Yifeng Liu, Zhen Qin, Huizhuo Yuan, Kangping Xu, Yang Yuan, Quanquan Gu, Andrew Chi-Chih Yao
cs.AI
papers.abstract
Nous présentons GRAPE (Group RepresentAtional Position Encoding), un cadre unifié pour l'encodage positionnel basé sur les actions de groupe. GRAPE réunit deux familles de mécanismes : (i) les rotations multiplicatives (GRAPE Multiplicatif) dans SO(d) et (ii) les biais log-additifs (GRAPE Additif) résultant d'actions unipotentes dans le groupe linéaire général GL. Dans GRAPE Multiplicatif, une position n dans Z (ou t dans R) agit comme G(n)=exp(n,ω,L) avec un générateur antisymétrique de rang 2 L dans R^{d × d}, produisant une application relative, compositionnelle, norme-préservante avec une exponentielle matricielle de forme close. RoPE est retrouvée exactement lorsque les d/2 plans sont les paires de coordonnées canoniques avec un spectre log-uniforme. Les sous-espaces commutatifs appris et les mélanges compacts non commutatifs étendent strictement cette géométrie pour capturer le couplage des caractéristiques inter-sous-espaces à un coût par tête de O(d) et O(r d), respectivement. Dans GRAPE Additif, les logits additifs émergent comme des actions unipotentes de rang 1 (ou faible rang), retrouvant ALiBi et le Forgetting Transformer (FoX) comme cas spéciaux exacts tout en préservant une loi relative exacte et une capacité de mise en cache en flux continu. Globalement, GRAPE fournit un espace de conception principiel pour la géométrie positionnelle dans les modèles à contexte long, subsumant RoPE et ALiBi comme cas particuliers. Page du projet : https://github.com/model-architectures/GRAPE.
English
We present GRAPE (Group RepresentAtional Position Encoding), a unified framework for positional encoding based on group actions. GRAPE brings together two families of mechanisms: (i) multiplicative rotations (Multiplicative GRAPE) in SO(d) and (ii) additive logit biases (Additive GRAPE) arising from unipotent actions in the general linear group GL. In Multiplicative GRAPE, a position n in Z (or t in R) acts as G(n)=exp(n,ω,L) with a rank-2 skew generator L in R^{d times d}, yielding a relative, compositional, norm-preserving map with a closed-form matrix exponential. RoPE is recovered exactly when the d/2 planes are the canonical coordinate pairs with log-uniform spectrum. Learned commuting subspaces and compact non-commuting mixtures strictly extend this geometry to capture cross-subspace feature coupling at O(d) and O(r d) cost per head, respectively. In Additive GRAPE, additive logits arise as rank-1 (or low-rank) unipotent actions, recovering ALiBi and the Forgetting Transformer (FoX) as exact special cases while preserving an exact relative law and streaming cacheability. Altogether, GRAPE supplies a principled design space for positional geometry in long-context models, subsuming RoPE and ALiBi as special cases. Project Page: https://github.com/model-architectures/GRAPE.