Hat Zeit ihren Platz? Temporale Köpfe: Wo Sprachmodelle zeitbezogene Informationen abrufen

Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information

February 20, 2025

Autoren: Yein Park, Chanwoong Yoon, Jungwoo Park, Minbyul Jeong, Jaewoo Kang

cs.AI

Zusammenfassung

Während die Fähigkeit von Sprachmodellen, Fakten abzurufen, bereits umfassend untersucht wurde, ist die Handhabung zeitlich veränderlicher Fakten noch weitgehend unerforscht. Wir entdecken sogenannte Temporale Heads, spezifische Aufmerksamkeitsköpfe, die hauptsächlich für die Verarbeitung von zeitlichem Wissen durch Schaltkreisanalysen verantwortlich sind. Wir bestätigen, dass diese Köpfe in mehreren Modellen vorhanden sind, obwohl ihre spezifischen Positionen variieren können und ihre Reaktionen je nach Art des Wissens und den entsprechenden Jahren unterschiedlich ausfallen. Das Deaktivieren dieser Köpfe beeinträchtigt die Fähigkeit des Modells, zeitbezogenes Wissen abzurufen, während seine allgemeinen Fähigkeiten sowie die Leistung bei zeitinvarianten Fragestellungen und Frage-Antwort-Aufgaben unbeeinträchtigt bleiben. Darüber hinaus werden diese Köpfe nicht nur durch numerische Bedingungen („Im Jahr 2004“), sondern auch durch textuelle Synonyme („Im Jahre ...“) aktiviert, was darauf hindeutet, dass sie eine zeitliche Dimension über die einfache numerische Darstellung hinaus kodieren. Zudem erweitern wir das Potenzial unserer Erkenntnisse, indem wir zeigen, wie zeitliches Wissen durch die Anpassung der Werte dieser Köpfe bearbeitet werden kann.

English

While the ability of language models to elicit facts has been widely investigated, how they handle temporally changing facts remains underexplored. We discover Temporal Heads, specific attention heads primarily responsible for processing temporal knowledge through circuit analysis. We confirm that these heads are present across multiple models, though their specific locations may vary, and their responses differ depending on the type of knowledge and its corresponding years. Disabling these heads degrades the model's ability to recall time-specific knowledge while maintaining its general capabilities without compromising time-invariant and question-answering performances. Moreover, the heads are activated not only numeric conditions ("In 2004") but also textual aliases ("In the year ..."), indicating that they encode a temporal dimension beyond simple numerical representation. Furthermore, we expand the potential of our findings by demonstrating how temporal knowledge can be edited by adjusting the values of these heads.