Masqué par consensus : démêler les connaissances privilégiées dans l'exactitude des LLM

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

April 14, 2026

Auteurs: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

cs.AI

Résumé

Les humains utilisent l'introspection pour évaluer leur compréhension via des états internes privés inaccessibles aux observateurs externes. Nous étudions si les grands modèles de langage possèdent une connaissance privilégiée similaire concernant l'exactitude des réponses, information non disponible par l'observation externe. Nous entraînons des classificateurs de justesse sur des représentations de questions issues à la fois des états cachés propres à un modèle et de modèles externes, testant si les auto-représentations procurent un avantage en performance. Sur l'évaluation standard, nous ne trouvons aucun avantage : les auto-sondages performent de manière comparable aux sondages par modèles pairs. Nous émettons l'hypothèse que cela est dû à un fort accord inter-modèles sur l'exactitude des réponses. Pour isoler une connaissance privilégiée authentique, nous évaluons sur des sous-ensembles de désaccord, où les modèles produisent des prédictions conflictuelles. Là, nous découvrons une connaissance privilégiée spécifique au domaine : les auto-représentations surpassent systématiquement les représentations des pairs dans les tâches de connaissances factuelles, mais ne montrent aucun avantage en raisonnement mathématique. Nous localisons ensuite cette asymétrie domainale à travers les couches du modèle, constatant que l'avantage factuel émerge progressivement des couches précoces à intermédiaires, ce qui est cohérent avec un processus de récupération mnésique spécifique au modèle, tandis que le raisonnement mathématique ne montre aucun avantage consistant à aucune profondeur.

English

Humans use introspection to evaluate their understanding through private internal states inaccessible to external observers. We investigate whether large language models possess similar privileged knowledge about answer correctness, information unavailable through external observation. We train correctness classifiers on question representations from both a model's own hidden states and external models, testing whether self-representations provide a performance advantage. On standard evaluation, we find no advantage: self-probes perform comparably to peer-model probes. We hypothesize this is due to high inter-model agreement of answer correctness. To isolate genuine privileged knowledge, we evaluate on disagreement subsets, where models produce conflicting predictions. Here, we discover domain-specific privileged knowledge: self-representations consistently outperform peer representations in factual knowledge tasks, but show no advantage in math reasoning. We further localize this domain asymmetry across model layers, finding that the factual advantage emerges progressively from early-to-mid layers onward, consistent with model-specific memory retrieval, while math reasoning shows no consistent advantage at any depth.