Il tempo ha il suo posto? Teste temporali: dove i modelli linguistici ricordano informazioni specifiche al tempo

Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information

February 20, 2025

Autori: Yein Park, Chanwoong Yoon, Jungwoo Park, Minbyul Jeong, Jaewoo Kang

cs.AI

Abstract

Sebbene la capacità dei modelli linguistici di elicitare fatti sia stata ampiamente investigata, il modo in cui gestiscono fatti che cambiano nel tempo rimane poco esplorato. Scopriamo le Temporal Heads, specifiche teste di attenzione principalmente responsabili dell'elaborazione della conoscenza temporale attraverso l'analisi dei circuiti. Confermiamo che queste teste sono presenti in più modelli, sebbene le loro posizioni specifiche possano variare, e le loro risposte differiscono a seconda del tipo di conoscenza e degli anni corrispondenti. Disabilitare queste teste riduce la capacità del modello di ricordare conoscenze specifiche nel tempo, mantenendo le sue capacità generali senza compromettere le prestazioni invarianti nel tempo e di risposta alle domande. Inoltre, le teste vengono attivate non solo da condizioni numeriche ("Nel 2004") ma anche da alias testuali ("Nell'anno ..."), indicando che codificano una dimensione temporale che va oltre la semplice rappresentazione numerica. Inoltre, espandiamo il potenziale delle nostre scoperte dimostrando come la conoscenza temporale possa essere modificata regolando i valori di queste teste.

English

While the ability of language models to elicit facts has been widely investigated, how they handle temporally changing facts remains underexplored. We discover Temporal Heads, specific attention heads primarily responsible for processing temporal knowledge through circuit analysis. We confirm that these heads are present across multiple models, though their specific locations may vary, and their responses differ depending on the type of knowledge and its corresponding years. Disabling these heads degrades the model's ability to recall time-specific knowledge while maintaining its general capabilities without compromising time-invariant and question-answering performances. Moreover, the heads are activated not only numeric conditions ("In 2004") but also textual aliases ("In the year ..."), indicating that they encode a temporal dimension beyond simple numerical representation. Furthermore, we expand the potential of our findings by demonstrating how temporal knowledge can be edited by adjusting the values of these heads.