Возникновение линейных кодирований истинности в языковых моделях

Emergence of Linear Truth Encodings in Language Models

October 17, 2025

Авторы: Shauli Ravfogel, Gilad Yehudai, Tal Linzen, Joan Bruna, Alberto Bietti

cs.AI

Аннотация

Недавние исследования с помощью методов probing выявили, что большие языковые модели содержат линейные подпространства, разделяющие истинные и ложные утверждения, однако механизм их возникновения остаётся неясным. Мы представляем прозрачную игрушечную модель на основе однослойного трансформатора, которая воспроизводит такие подпространства истинности end-to-end и демонстрирует конкретный механизм их формирования. Мы исследуем простой сценарий, в котором может возникать кодирование истинности: распределение данных, где фактические утверждения встречаются вместе с другими фактами (и наоборот), что побуждает модель изучать это различие для снижения LM-потерь на последующих токенах. Мы подтверждаем эту закономерность экспериментами с предобученными языковыми моделями. Наконец, в игрушечной модели мы наблюдаем двухфазную динамику обучения: сначала сети за несколько шагов запоминают отдельные фактические ассоциации, затем — в течение более длительного периода — обучаются линейному разделению истинного и ложного, что в свою очередь снижает потери языкового моделирования. В совокупности эти результаты дают как механистическое объяснение, так и эмпирическое обоснование того, как и почему в языковых моделях возникают линейные репрезентации истинности.

English

Recent probing studies reveal that large language models exhibit linear subspaces that separate true from false statements, yet the mechanism behind their emergence is unclear. We introduce a transparent, one-layer transformer toy model that reproduces such truth subspaces end-to-end and exposes one concrete route by which they can arise. We study one simple setting in which truth encoding can emerge: a data distribution where factual statements co-occur with other factual statements (and vice-versa), encouraging the model to learn this distinction in order to lower the LM loss on future tokens. We corroborate this pattern with experiments in pretrained language models. Finally, in the toy setting we observe a two-phase learning dynamic: networks first memorize individual factual associations in a few steps, then -- over a longer horizon -- learn to linearly separate true from false, which in turn lowers language-modeling loss. Together, these results provide both a mechanistic demonstration and an empirical motivation for how and why linear truth representations can emerge in language models.