Nascosto dal consenso: Disentanglement della conoscenza privilegiata nella correttezza degli LLM

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

April 14, 2026

Autori: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

cs.AI

Abstract

Gli esseri umani utilizzano l'introspezione per valutare la propria comprensione attraverso stati interni privati, inaccessibili a osservatori esterni. Indaghiamo se i grandi modelli linguistici possiedono una conoscenza privilegiata simile riguardo alla correttezza delle risposte, un'informazione non disponibile tramite osservazione esterna. Addestriamo classificatori di correttezza su rappresentazioni di domande provenienti sia dagli stati interni di un modello che da modelli esterni, testando se le autorappresentazioni offrono un vantaggio prestazionale. Nella valutazione standard, non riscontriamo alcun vantaggio: le auto-probe performano in modo comparabile alle probe di modelli peer. Ipotizziamo che ciò sia dovuto all'elevato accordo inter-modello sulla correttezza delle risposte. Per isolare una genuina conoscenza privilegiata, valutiamo sottoinsiemi di disaccordo, dove i modelli producono previsioni contrastanti. Qui scopriamo una conoscenza privilegiata dominio-specifica: le autorappresentazioni superano costantemente le rappresentazioni peer in compiti di conoscenza fattuale, ma non mostrano vantaggi nel ragionamento matematico. Localizziamo ulteriormente questa asimmetria di dominio attraverso gli strati del modello, riscontrando che il vantaggio fattuale emerge progressivamente dagli strati iniziali e intermedi in poi, coerente con un recupero della memoria specifico del modello, mentre il ragionamento matematico non mostra alcun vantaggio consistente a qualsiasi profondità.

English

Humans use introspection to evaluate their understanding through private internal states inaccessible to external observers. We investigate whether large language models possess similar privileged knowledge about answer correctness, information unavailable through external observation. We train correctness classifiers on question representations from both a model's own hidden states and external models, testing whether self-representations provide a performance advantage. On standard evaluation, we find no advantage: self-probes perform comparably to peer-model probes. We hypothesize this is due to high inter-model agreement of answer correctness. To isolate genuine privileged knowledge, we evaluate on disagreement subsets, where models produce conflicting predictions. Here, we discover domain-specific privileged knowledge: self-representations consistently outperform peer representations in factual knowledge tasks, but show no advantage in math reasoning. We further localize this domain asymmetry across model layers, finding that the factual advantage emerges progressively from early-to-mid layers onward, consistent with model-specific memory retrieval, while math reasoning shows no consistent advantage at any depth.