Emergenza delle codifiche lineari della verità nei modelli linguistici

Emergence of Linear Truth Encodings in Language Models

October 17, 2025

Autori: Shauli Ravfogel, Gilad Yehudai, Tal Linzen, Joan Bruna, Alberto Bietti

cs.AI

Abstract

Recenti studi di probing rivelano che i grandi modelli linguistici presentano sottospazi lineari che separano le affermazioni vere da quelle false, sebbene il meccanismo alla base della loro emersione rimanga poco chiaro. Introduciamo un modello giocattolo trasparente, un transformer a singolo strato, che riproduce end-to-end tali sottospazi di verità e illustra un percorso concreto attraverso cui possono emergere. Studiamo un semplice contesto in cui la codifica della verità può emergere: una distribuzione di dati in cui affermazioni fattuali co-occorrono con altre affermazioni fattuali (e viceversa), incoraggiando il modello ad apprendere questa distinzione per ridurre la loss di modellazione linguistica sui token futuri. Confermiamo questo pattern con esperimenti su modelli linguistici preaddestrati. Infine, nel contesto giocattolo osserviamo una dinamica di apprendimento bifasica: le reti memorizzano dapprima associazioni fattuali individuali in pochi passi, per poi – su un orizzonte temporale più lungo – apprendere a separare linearmente il vero dal falso, il che a sua volta riduce la loss di modellazione linguistica. Complessivamente, questi risultati forniscono sia una dimostrazione meccanicistica sia una motivazione empirica di come e perché le rappresentazioni lineari della verità possano emergere nei modelli linguistici.

English

Recent probing studies reveal that large language models exhibit linear subspaces that separate true from false statements, yet the mechanism behind their emergence is unclear. We introduce a transparent, one-layer transformer toy model that reproduces such truth subspaces end-to-end and exposes one concrete route by which they can arise. We study one simple setting in which truth encoding can emerge: a data distribution where factual statements co-occur with other factual statements (and vice-versa), encouraging the model to learn this distinction in order to lower the LM loss on future tokens. We corroborate this pattern with experiments in pretrained language models. Finally, in the toy setting we observe a two-phase learning dynamic: networks first memorize individual factual associations in a few steps, then -- over a longer horizon -- learn to linearly separate true from false, which in turn lowers language-modeling loss. Together, these results provide both a mechanistic demonstration and an empirical motivation for how and why linear truth representations can emerge in language models.