Le temps a-t-il sa place ? Les têtes temporelles : où les modèles de langage retrouvent des informations spécifiques au temps

Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information

February 20, 2025

Auteurs: Yein Park, Chanwoong Yoon, Jungwoo Park, Minbyul Jeong, Jaewoo Kang

cs.AI

Résumé

Bien que la capacité des modèles de langage à extraire des faits ait été largement étudiée, leur gestion des faits évoluant dans le temps reste peu explorée. Nous découvrons les "Temporal Heads", des têtes d'attention spécifiques principalement responsables du traitement des connaissances temporelles grâce à une analyse de circuits. Nous confirmons que ces têtes sont présentes dans plusieurs modèles, bien que leurs emplacements spécifiques puissent varier, et que leurs réponses diffèrent selon le type de connaissance et les années correspondantes. La désactivation de ces têtes dégrade la capacité du modèle à rappeler des connaissances spécifiques à une période tout en préservant ses capacités générales sans compromettre les performances invariantes dans le temps et en question-réponse. De plus, ces têtes sont activées non seulement par des conditions numériques ("En 2004") mais aussi par des alias textuels ("En l'année ..."), indiquant qu'elles encodent une dimension temporelle allant au-delà d'une simple représentation numérique. Enfin, nous élargissons le potentiel de nos découvertes en démontrant comment les connaissances temporelles peuvent être modifiées en ajustant les valeurs de ces têtes.

English

While the ability of language models to elicit facts has been widely investigated, how they handle temporally changing facts remains underexplored. We discover Temporal Heads, specific attention heads primarily responsible for processing temporal knowledge through circuit analysis. We confirm that these heads are present across multiple models, though their specific locations may vary, and their responses differ depending on the type of knowledge and its corresponding years. Disabling these heads degrades the model's ability to recall time-specific knowledge while maintaining its general capabilities without compromising time-invariant and question-answering performances. Moreover, the heads are activated not only numeric conditions ("In 2004") but also textual aliases ("In the year ..."), indicating that they encode a temporal dimension beyond simple numerical representation. Furthermore, we expand the potential of our findings by demonstrating how temporal knowledge can be edited by adjusting the values of these heads.