Derrière RoPE : Comment le masque causal encode-t-il l'information positionnelle ?

Behind RoPE: How Does Causal Mask Encode Positional Information?

September 25, 2025

papers.authors: Junu Kim, Xiao Liu, Zhenghao Lin, Lei Ji, Yeyun Gong, Edward Choi

cs.AI

papers.abstract

Bien que les encodages positionnels explicites tels que RoPE constituent une source principale d'information positionnelle dans les décodeurs de Transformers, le masque causal fournit également des informations positionnelles. Dans ce travail, nous démontrons que le masque causal peut induire des motifs dépendants de la position dans les scores d'attention, même sans paramètres ni dépendance causale dans l'entrée. Notre analyse théorique indique que le motif d'attention induit tend à favoriser les paires requête-clé proches, reflétant le comportement des encodages positionnels courants. Une analyse empirique confirme que les modèles entraînés présentent le même comportement, les paramètres appris amplifiant davantage ces motifs. Notamment, nous avons constaté que l'interaction entre le masque causal et RoPE déforme les motifs de scores d'attention relative de RoPE en motifs non relatifs. Nous avons observé cet effet de manière cohérente dans les grands modèles de langage modernes, suggérant l'importance de considérer le masque causal comme une source d'information positionnelle aux côtés des encodages positionnels explicites.

English

While explicit positional encodings such as RoPE are a primary source of positional information in Transformer decoders, the causal mask also provides positional information. In this work, we prove that the causal mask can induce position-dependent patterns in attention scores, even without parameters or causal dependency in the input. Our theoretical analysis indicates that the induced attention pattern tends to favor nearby query-key pairs, mirroring the behavior of common positional encodings. Empirical analysis confirms that trained models exhibit the same behavior, with learned parameters further amplifying these patterns. Notably, we found that the interaction of causal mask and RoPE distorts RoPE's relative attention score patterns into non-relative ones. We consistently observed this effect in modern large language models, suggesting the importance of considering the causal mask as a source of positional information alongside explicit positional encodings.