Имеет ли время свое место? Временные головы: где языковые модели запоминают временно-специфическую информацию

Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information

February 20, 2025

Авторы: Yein Park, Chanwoong Yoon, Jungwoo Park, Minbyul Jeong, Jaewoo Kang

cs.AI

Аннотация

Хотя способность языковых моделей извлекать факты широко исследовалась, то, как они обрабатывают изменяющиеся во времени факты, остается недостаточно изученным. Мы обнаружили Временные Головы — специфические механизмы внимания, которые в основном отвечают за обработку временных знаний, проведя анализ схем. Мы подтверждаем, что эти механизмы присутствуют в нескольких моделях, хотя их конкретное расположение может варьироваться, а их реакции различаются в зависимости от типа знаний и соответствующих им лет. Отключение этих механизмов ухудшает способность модели вспоминать временно-специфические знания, сохраняя при этом её общие возможности без ущерба для работы с временно-инвариантными данными и задачами ответов на вопросы. Более того, эти механизмы активируются не только при числовых условиях ("В 2004 году"), но и при текстовых аналогах ("В год ..."), что указывает на то, что они кодируют временное измерение, выходящее за рамки простого числового представления. Кроме того, мы расширяем потенциал наших выводов, демонстрируя, как временные знания можно редактировать, изменяя значения этих механизмов.

English

While the ability of language models to elicit facts has been widely investigated, how they handle temporally changing facts remains underexplored. We discover Temporal Heads, specific attention heads primarily responsible for processing temporal knowledge through circuit analysis. We confirm that these heads are present across multiple models, though their specific locations may vary, and their responses differ depending on the type of knowledge and its corresponding years. Disabling these heads degrades the model's ability to recall time-specific knowledge while maintaining its general capabilities without compromising time-invariant and question-answering performances. Moreover, the heads are activated not only numeric conditions ("In 2004") but also textual aliases ("In the year ..."), indicating that they encode a temporal dimension beyond simple numerical representation. Furthermore, we expand the potential of our findings by demonstrating how temporal knowledge can be edited by adjusting the values of these heads.